• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    三次元空間におけるコントローラの位置を決定する方法が開示される。この方法は、コントローラと一体化された深度カメラを用いて、三次元空間内の複数の固定点から認識された固定点群を特定するためのコンピュータプログラムを較正する動作を含む。別の動作は、アプリケーションとのインタフェース接続中にコントローラおよび深度カメラの使用を作動させる。コントローラの使用中、三次元空間内の画像および深度データは、コントローラの深度カメラでキャプチャされる。別の動作では、画像および深度データは、認識された固定点群の１つ以上を検出するために解析される。１つの実施形態において、前述した２つの動作が繰り返され、認識された固定点群の中から求めた固定点の位置の変化に基づいて、コントローラの位置の変化が決定される。この方法はまた、コントローラの位置の決定された変化に基づいて、入力コマンドをトリガするための動作を含み、入力コマンドは、アプリケーションによるアクションを引き起こす。
    公开号:JP2011514232A
    申请号:JP2011500874
    申请日:2009-03-12
    公开日:2011-05-06
    发明作者:エム．；ザルースキ ゲイリー
    申请人:ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー；
    IPC主号:A63F13-00
    专利说明:

    [0001] ビデオゲーム産業は、長年にわたり多くの変化を遂げてきた。コンピュータの演算能力の向上に伴い、ビデオゲームの開発者らも、このような演算能力の高度化を利用したゲームソフトウェアを制作してきた。このため、ビデオゲームの開発者らは、ゲーム体験にリアル感を出せるように高度な演算や数学的処理を取り入れたゲームのコーディングを行ってきた。]
    [0002] ゲームのプラットフォームの例として、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（ＰＳ２）（登録商標）、およびＳｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（ＰＳ３）があり、いずれもゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、モニタ（通常、テレビ受像器）と接続して、ハンドヘルドコントローラを介してユーザインタラクション（ユーザとの対話）が可能になるように設計されている。ゲームコンソールは、ＣＰＵ、重いグラフィック演算を処理するためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル演算ユニット、および他の付随するハードウェア、ファームウェア、およびソフトウェアを含む専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームコンパクトディスクを収容する光ディスクトレイを備えるようにさらに設計される。また、ユーザがインターネット上で他のユーザとインタラクティブな対戦プレイまたは協力プレイができるオンラインゲームも可能である。]
    [0003] ゲーム体験のリアル感は着実に向上を遂げてきたが、ユーザは、ゲームプラットフォームとのインタラクションに専用ゲームコントローラを使い続けている。ユーザインタラクションはある程度の前進を遂げてきたが、ゲームコンソールを使用する全体的な体験を改善しうるさらなるユーザインタラクションの手段は他にもあると考えられる。]
    [0004] 以上のような背景から、本発明の実施形態が生まれた。]
    発明が解決しようとする課題

    [0005] 広義に言えば、本発明により、ユーザは、関連付けられた、または一体化された深度カメラを有するコントローラを用いて、コンピュータシステムとインタラクションすることができる。コントローラを較正するために、深度カメラは、空間内の画像および深度データをキャプチャするために使用されうる。深度カメラ、ひいては空間内でのコントローラの相対位置を決定するために、連続した画像および深度データが使用されうる。]
    課題を解決するための手段

    [0006] １つの実施形態において、三次元空間におけるコントローラの位置を決定するためのコンピュータで実行される方法が開示される。この方法は、コントローラと一体化された深度カメラを用いて、三次元空間内の複数の固定点から認識された固定点群を特定するためのコンピュータプログラムを較正する動作を含む。別の動作は、アプリケーションとのインタフェース接続中にコントローラおよび深度カメラの使用を作動させる。コントローラの使用中、三次元空間内の画像および深度データは、コントローラの深度カメラでキャプチャされる。別の動作において、画像および深度データは、認識された固定点群の１つ以上を検出するために解析される。１つの実施形態において、前述した２つの動作が繰り返され、認識された固定点群の中から求めた固定点の位置の変化に基づいて、コントローラの位置の変化が決定される。この方法はまた、コントローラの位置の決定された変化に基づいて、アプリケーションによるアクションを引き起こす入力コマンドをトリガするための動作を含む。]
    [0007] 別の実施形態において、コンピュータシステムとインタラクションを行うためのコンピュータで実行される方法が開示されている。この方法は、コンピュータシステム上で実行されるインタラクティブ（対話型）セッションを開始し、メモリから保存されたコントローラ較正の結果を自動的に適用する動作を含む。別の動作において、この方法は、モバイル深度カメラを備えたコントローラへの入力を受ける。１つの動作において、空間内の画像および深度データは、モバイル深度カメラでキャプチャされる。別の動作において、画像および深度データは、１つ以上の認識された固定点に対して解析される。１つの実施形態において、前述した２つの動作が繰り返され、空間内でのモバイル深度カメラの動きが、認識された固定点の間の差に基づいて決定される。この方法はまた、インタラクティブセッション内のアクションを引き起こす入力コマンドが、モバイル深度カメラの動きに基づいてトリガされる動作を含む。]
    [0008] 別の実施形態において、コンピュータシステムのハンドヘルドコントローラが開示される。ハンドヘルドコントローラは、取り囲む外部および内部ボリュームによって規定されたコントローラハウジングを含む。コントローラはまた、ハウジングの外部に部分的に露出されたインタフェースコントロールを含む。また、コントローラには、深度カメラアセンブリが含まれる。深度カメラアセンブリは、深度モジュールと、画像モジュールと、処理ロジックとを含む。深度モジュールおよび画像モジュールは、カメラレンズを通して画像および深度データを受信するように構成され、通信モジュールは、深度カメラアセンブリの処理ロジックからコンピュータシステムへデータの送受信を行うように構成される。深度カメラアセンブリによって受信された画像および深度データが変化すると、コンピュータシステムへの入力コマンドがトリガされる。]
    [0009] さらなる別の実施形態において、ディスプレイ上でのインタラクティブセッションを表示するように構成されたインタラクティブコンピューティングシステムが開示される。コンピューティングシステムは、中央演算処理装置と、グラフィック処理装置と、通信インタフェースとを備えたコンピューティングコンソールを含む。通信インタフェースは、コンピューティングコンソールとの間で通信を行うように構成される。コンピュータシステムはまた、深度カメラを備えたコントローラを含みうる。深度カメラは、深度モジュールと、画像モジュールと、処理ロジックとを備えるように構成される。コントローラはまた、深度カメラの処理ロジックからコンピューティングコンソールの通信インタフェースにデータを送受信するように構成される通信モジュールを含んでもよい。深度カメラによってキャプチャされた画像および深度データの変化は、コンピューティングシステムへの入力コマンドに変換される。]
    [0010] 本発明の他の態様および利点は、例示的に、本発明の原理を示す添付の図面とともに、以下の詳細な説明から明らかになるであろう。]
    [0011] 本発明は、本発明のさらなる利点とともに、添付の図面とともに以下の記載を参照することによって最良に理解されうる。]
    図面の簡単な説明

    [0012] 本発明の１つの実施形態による、コンソールがユーザによって使用されうる例示的な空間を示す。
    本発明の実施形態による、モバイル深度カメラの選択コンポーネントを示す簡易図である。
    本発明の実施形態による、モバイル深度カメラの選択コンポーネントを示す簡易図である。
    本発明の１つの実施形態による、一体型深度カメラを備えた例示的なコントローラの外観図である。
    本発明のさまざまな実施形態による、カメラおよびスクリーンに対してコントローラを較正するユーザを示す。
    本発明のさまざまな実施形態による、カメラおよびスクリーンに対してコントローラを較正するユーザを示す。
    本発明の１つの実施形態による、モバイル深度カメラから解析された画像および深度データを示す。
    本発明の１つの実施形態による、空間内で認識された固定点を示す。
    本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内にある認識された固定点を示す。
    本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内にある認識された固定点を示す。
    本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。
    本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。
    本発明の１つの実施形態による、モバイル深度カメラからの深度データが、空間内でのコントローラの位置を決定するために使用されるシーンの平面図を示す。
    本発明の１つの実施形態による、空間内でのコントローラの位置を決定するためにモバイル深度カメラを使用するための動作を示す例示的なフローチャートである。
    本発明の１つの実施形態による、空間内でのコントローラの位置を決定するために、モバイル深度カメラを較正するための動作を示す例示的なフローチャートである。
    本発明の１つの実施形態による、Ｓｏｎｙ（登録商標）Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）エンタテインメントデバイス、ユーザ規定コントローラを生じるように三次元オブジェクトマッピングを利用可能なコンピュータシステムの全体的なシステムアーキテクチャを概略的に示す。]
    実施例

    [0013] コンソール上でのインタラクティブセッションを制御するために、モバイル深度カメラによってキャプチャされた画像および深度データを使用するための発明が開示される。広義には、コンソールは、汎用コンピュータ（例えば、デスクトップ、ノートブック、ハンドヘルドデバイス、スマートフォンなど）や、ゲームコンソールなどの特定用途コンピュータなど、ユーザからの入力を受ける任意のタイプのシステムでありうる。モバイル深度カメラは、コンソールに対するコントローラまたはコントローラ内に装着され、画像データに沿って幾何学的深度データをキャプチャするために使用されうる。深度カメラは、解析および処理を行うためにコンソールに画像および深度データを与えうる。１つの実施形態において、深度カメラは、単レンズカメラであり、他の実施形態において、画像および深度データをキャプチャするために、複数のカメラレンズが使用されうる。モバイル深度カメラによってキャプチャされた画像および深度データは、空間内のコントローラおよび深度カメラの動きを決定するために解析されうる。コントローラの動きは、コンソール上のインタラクティブセッションのさまざまな態様を制御するために処理されマッピングされうる。]
    [0014] 以下の記載において、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、当業者であれば、本発明はこれらの特定の詳細のうちのいくつか、あるいはすべてがなくとも実施可能なことは明白であろう。他の例において、本発明を不要に不明瞭にしないように、公知のプロセスステップについては詳細には記載しない。]
    [0015] 図１は、本発明の１つの実施形態による、コンソール１０６がユーザ１０２により使用されている例示的な空間１００を示す。空間１００は、シェルフユニット１１２ａ／ｂおよびモニタ１０８とともにテーブル１１４を含みうる。いくつかの実施形態において、モニタ１０８は、種々のビデオ入力を表示可能な陰極線管（ＣＲＴ）モニタである。他の実施形態において、モニタ１０８は、種々のビデオ入力（アナログまたはディジタル）を受けるように構成された液晶ディスプレイ（ＬＣＤ）などのフラットパネルモニタや、プラズマモニタである。] 図１
    [0016] モニタ１０８には、ローカルまたはリモート格納されたソフトウェアプログラムを実行可能なさまざまなハードウェアおよびファームウェアを含むコンソール１０６が接続されている。１つの実施形態において、ソフトウェアプログラムは、グラフィックユーザインタフェース（ＧＵＩ）のビデオをモニタ１０８に出力するオペレーティングシステムでありうる。ユーザ１０２は、モバイル深度カメラ１０５を含むコントローラ１０４を用いて、ＧＵＩを介してコンソール１０８とインタラクションを行うことができる。モバイル深度カメラ１０５は、視野１０５ａ内の画像および深度データをキャプチャする。空間１００内でのコントローラ１０４の相対位置を決定するために、モバイル深度カメラ１０５でキャプチャされた画像および深度データの解析が実行されうる。]
    [0017] コントローラ１０４は、ディジタルおよび／またはアナログボタン、トリガ、ジョイスティック、およびタッチパッドの組み合わせなど、種々のユーザ入力を受けうるが、ユーザ入力はこれらに限定されるものではない。さらに、コントローラ１０４内の加速度計により、コンソール１０６は、コントローラ１０４へユーザ１０２によって与えられた動きに応答することができる。例えば、一体化された加速度計を用いて、回転、ピッチ、および揺れのようなコントローラに与えられる動きまたは動きの組み合わせが検出され、コンソール１０６によって実行されているソフトウェアとのインタラクションに使用されうる。いくつかの実施形態において、コンソール１０６とコントローラ１０４とは有線により物理的に結合し、それらの間の通信を容易にする。他の実施形態において、コントローラ１０４は、ＢｌｕｅｔｏｏｔｈおよびＷｉ−Ｆｉなどを含むが、これらに限定されるものではない無線プロトコルを用いて、コンソール１０６に無線通信されうる。]
    [0018] また、固定深度カメラ１１０がコンソール１０６に結合されてもよく、固定深度カメラ１１０が、テーブル１１４、ユーザ１０２、およびコントローラ１０４を含む視野１１０ａを有するように配置されうる。モバイル深度カメラ１０５と同様に、固定深度カメラ１１０は、視野１１０ａ内の物体の画像および深度データをキャプチャしうる。１つの実施形態において、固定深度カメラ１１０とモバイル深度カメラ１０５の両方からの画像および深度データが、空間１００内のコントローラ１０４の相対位置を決定するために使用される。]
    [0019] 図２Ａ−１および図２Ａ−２は、本発明の実施形態による、モバイル深度カメラ１０５の選択コンポーネントを示す簡易図である。簡潔にするために、コントローラ１０４内のさらなるコンポーネントは図示していない。図２Ａ−１に示す実施形態において、モバイル深度カメラ１０５は、コントローラ１０４内に一体化される。図２Ａ−２において、モバイル深度カメラ１０５は、コネクタ２２０ａ（例えば、ＵＳＢまたは他の電気コネクタ）を用いて、コントローラ１０４上の外部ポート２２０ｂに取り付けられうる外部モジュールとして示される。いずれの実施形態においても、モバイル深度カメラ１０５は、レンズ２００と、画像モジュール２０４および深度モジュール２０２と、ロジック処理２０６とを含みうる。深度モジュール２０２は、種々のセンサと、エミッタと、ロジックとを含みうる。１つの実施形態において、複数の赤外線（ＩＲ）エミッタが、レンズ２００の周りのアレイに配設されうる。ＩＲエミッタは、コントローラ１０４の前方にある物体から反射されるＩＲ光のパルスを送信するために使用されうる。ＩＲエミッタに関連付けられたセンサが、コントローラ１０４からの物体の距離、いわゆる深度を決定しやすいようにするために、反射されたＩＲパルスが戻る時間を測定しうる。]
    [0020] いくつかの実施形態において、深度カメラ１０５の視野内の特定エリアに深度モジュールの焦点を合わせるために、深度モジュール２０２に関連付けられたロジックが使用されうる。深度モジュール２０２の焦点合わせは、種々の技術を用いて達成されうる。１つの実施形態において、異なる波長を有するＩＲエミッタが、ＩＲエミッタのアレイ内で使用されうる。さらに、異なるエミッタは、深度カメラ１０５の視野内の特定のエリアに深度検出を集束するために、異なる時間および／または異なる強度でパルス伝送されうる。]
    [0021] 画像モジュール２０４は、電荷結合素子（ＣＣＤ）または他のタイプのセンサを用いて、レンズ２００を通して画像データをキャプチャするように構成されうる。１つの実施形態において、ロジックモジュール２０６は、画像モジュール２０４および深度モジュール２０２の両方からのデータを入力しうる。ロジックモジュール２０６はまた、画像モジュール２０４または深度モジュール２０２のいずれかの焦点を変更するために、コンソール１０６からのコマンドを受け取り解読しうる。無線を用いたコントローラ１０４の実施形態において、通信モジュール２０８が、コントローラ１０４とコンソール１０６との間の双方向通信を可能にする。このようにして、ロジックモジュール２０６からの信号は、コンソール１０６へ、およびその逆へ送信される。１つの実施形態において、通信モジュール２０８は、ＩＥＥＥ８０２．１１無線プロトコルの形式を用いてデータを送信しうる。別の実施形態において、コントローラ１０４からコンソール１０６へデータを送信するために、Ｂｌｕｅｔｏｏｔｈ通信規格の形式が使用される。]
    [0022] 図２Ｂは、本発明の１つの実施形態による、一体化された深度カメラ１０５を有する例示的なコントローラ１０４の外観図である。コントローラ１０４の外部に、レンズ２００が見られる。また、コントローラ１０４の外部には、ユニバーサルシリアルバス（ＵＳＢ）ポート２１０、ボタン２１４ａ／ｂおよび２１６ａ／ｂ、およびジョイスティック２１２ａ／ｂが見られる。ボタン２１４ａ／ｂおよび２１６ａ／ｂ、およびジョイスティック２１２ａ／ｂは、アナログであってもディジタルであってもよく、ユーザとコンソールとをつなぐインタフェースとなりうる。コントローラ１０４は、ＵＳＢポート２１０を経由してコンソールに接続されると充電されうる。] 図２Ｂ
    [0023] 図３Ａおよび図３Ｂは、本発明のさまざまな実施形態による、カメラ１１０およびスクリーン１０８に対してコントローラ１０４を較正するユーザ１０２を示す。空間内においてコントローラの位置を較正するために、ユーザ１０２は、コントローラ１０４を第１の位置に保持するために、画面上での命令、音声による命令、またはそれらの組み合わせを介して促されてもよい。これにより、モバイル深度カメラ１０５は、視野１０５ａ内での物体の画像および深度データをキャプチャできるようになる。この実施形態において、モニタ１０８および固定深度カメラ１１０は共に、モバイル深度カメラ１０５の視野１０５ａ内にある。第２の位置へ移動するように促された後、モバイル深度カメラ１０５’とともにコントローラ１０４’は、第２の視野１０５ａ’内のさらなる画像および深度データをキャプチャしうる。] 図３Ａ 図３Ｂ
    [0024] 図３Ｂは、本発明の１つの実施形態による、モバイル深度カメラ１０５を較正するさいの他の可能なステップを示す。この実施形態において、ユーザ１０２は、モニタ１０８、固定深度カメラ１１０、およびシェルフユニット１１２ａ／ｂの前方に立っている。さまざまな角度からの画像および深度データをキャプチャするために、ユーザ１０２は、一人のユーザ１０２’および／または複数のユーザ１０２’’の位置を想定するように促されてもよい。さまざまな位置において、モバイル深度カメラ１０５は、それぞれの視野内にあるシェルフユニット１１２ａ／ｂ、モニタ１０８、および固定深度カメラ１１０の画像および深度データをキャプチャしうる。他の実施形態において、較正は、ユーザ１０２、１０２’、および１０２’’がさまざまな位置にいる間、コントローラ１０４を上昇させたり、下降させたり、傾けたり、揺らしたりすることが必要な場合がある。] 図３Ｂ
    [0025] 図４Ａは、本発明の１つの実施形態による、モバイル深度カメラ１０５からの解析された画像および深度データを示す。固定点４００は、深度カメラ１０５の較正中にキャプチャされた画像および深度データに基づいて決定されうる。いくつかの実施形態において、コンソールは、コントローラおよび一体型のモバイル深度カメラの視野内にある静止物体のワイヤフレームワークを作成するために、画像および深度データを解析するソフトウェアを実行しうる。コントローラの動きを決定するためにモバイル深度カメラが使用されると、モバイル深度カメラからのリアルタイム画像が、ワイヤフレームモデルを使用して発生したデータと比較されうる。このような実施形態において、画像および深度データからキャプチャされたワイヤフレーム要素の異なる比率が、コントローラの位置を決定するために使用されうる。他の実施形態において、コンソールは、固定点をつなぎ、より小さな認識された固定点セットを発生させるために、画像および深度データを解析しうる。] 図４Ａ
    [0026] 図４Ｂは、本発明の１つの実施形態による、空間１００内で認識された固定点を示す。コントローラを較正するさい、画像および深度データは、モバイル深度カメラの視野内で認識された固定点を決定するために解析されうる。１つの実施形態において、認識された固定点は、図４Ａに特定されたものと同様のより大きな固定点セットから選択される。コンソールは、空間内の種々の角度および位置からキャプチャされた大きな固定点セットに対する画像および深度データを解析するためのソフトウェアを実行しうる。大きな固定点セットを解析することで、大きな固定点セットがフィルタリングされて、所定の基準に基づいて認識されたより小さな固定点セットになりうる。] 図４Ａ 図４Ｂ
    [0027] １つの実施形態において、大きな固定点セットから認識された固定点が、固定点と周囲の点との間の相対深度対比に基づいて選択されうる。例えば、シーン１００において、認識された固定点４０２、４０４、４１０、および４１２は、シェルフ１１２ａおよび１１２ｂの角の突起を理由に選択されうる。認識された固定点４０４〜４０４および４１０〜４１２の深度データは、シーン１００内の他の物体と比較して、シェルフの角の突起に基づいて、より容易に分析され認識されうる。同様に、認識された固定点４０６および４０８の深度データは、モニタ１０８の相対位置に基づいて分析されうる。]
    [0028] また、認識された固定点を決定するために、深度データとともに画像データが使用されうる。認識された固定点として使用可能な固定点を決定するさいに、深度データを補足するために、相対ピクセル位置とともに色対比が使用されうる。いくつかの実施形態において、深度データは、空間１００内の照明条件の変動により、認識された固定点を決定するさい、より広範囲に使用されうる。]
    [0029] 図５Ａおよび図５Ｂは、本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。図５Ａの左半分は、ユーザ１０２がモバイル深度カメラ１０５を有するコントローラ１０４を保持した状態にあるシーン１００の側面図を示す。図５Ａの右半分は、本発明の１つの実施形態による、モバイル深度検知カメラ１０５を用いた、シーン１００のキャプチャ画像を示す。] 図５Ａ 図５Ｂ
    [0030] 図５Ａにおいて、ユーザ１０２は、モバイル深度カメラの視野が実質的に真っ直ぐになるようにコントローラ１０４を保持している。これにより、モバイル深度カメラ１０５の視野は、図５Ａの右半分に示す画像になる。説明したように、深度データは伝達されないが、認識された固定点４０２、４０８、４１８、および４２０が特定された。] 図５Ａ
    [0031] 図５Ｂの左側において、ユーザ１０２は、コントローラを前方に倒しているため、モバイル深度カメラの視野がわずかに下向きになる。これにより、図５Ｂの右側に見られる画像が得られ、モバイル深度カメラの視野内には、認識された固定点４１８および４２０しかないことになる。図５Ａおよび図５Ｂからの画像および深度データを比較することによって、コンソールによって実行されるソフトウェアは、ユーザがコントローラ１０４を前方に倒していることを決定しうる。１つの実施形態において、図５Ｂ内に認識された固定点４０２および４０８がないということは、コントローラ１０４の位置が変化したことを示しうる。他の実施形態において、画像データは、距離の相対変化を決定するために使用されうる。例えば、相対変化は、図５Ａの距離Ｘから図５Ｂの距離Ｘ’までの変化に基づいて決定されうる。同様に、コントローラ１０４の相対運動を決定するために、図５Ａの距離Ｙと図５Ｂの距離Ｙ’との相対変化が使用されうる。] 図５Ａ 図５Ｂ
    [0032] 図６Ａおよび図６Ｂは、本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。図６Ａおよび図６Ｂの左側は、モバイル深度カメラ１０５を有するコントローラ１０４を保持する、空間１００内のユーザ１０２の平面図を示す。図６Ａおよび図６Ｂの右側は、モバイル深度カメラ１０５によってキャプチャされた空間１００の図を示す。図６Ａにおいて、ユーザ１０２は、モニタ１０８に向かって前方に向いた状態に示されている。キャプチャされた画像は、比較的に真っ直ぐに水平であり、これは、モバイル深度カメラ、ひいては、コントローラが、比較的水平な位置、すなわち、揺れ、ピッチ、回転が比較的ない状態に維持されていることを示す。図６Ｂに示すように、ユーザ１０２が左側に向いたことで、コントローラは、図６Ａの画像に対して左側に振れている。これにより、モバイル深度カメラ１０５は、図６Ｂの右側に見られる画像をキャプチャする。] 図６Ａ 図６Ｂ
    [0033] モバイル深度カメラ１０５が図６Ａの位置に対して左側に振れると、視野内の物体も変化する。シェルフ１１２ｂの認識された点は、図６Ａに見られるが、同じ認識された点は、図６Ｂでは見られない。モバイル深度カメラの視野内の認識された点に基づいて、コントローラの位置および向きは、コントローラの較正中にキャプチャされた画像および深度データに基づいて決定されうる。] 図６Ａ 図６Ｂ
    [0034] 図６Ｃは、本発明の１つの実施形態による、空間内のコントローラの位置を決定するために、モバイル深度カメラからの深度データが使用されるシーンの平面図を示す。１つの実施形態において、モバイル深度カメラによってキャプチャされた深度データは、空間内でのコントローラの位置を決定するために、画像データと組み合わせて使用されうる。図６Ｃに示すように、モバイル深度カメラは、モニタ１０８から距離Ｚ１の位置で、コントローラ１０４がユーザ１０２によって保持されていることを決定しうる。ユーザ１０２がユーザ１０２’の位置に移動すると、モバイル深度カメラによってキャプチャされた深度データは、コントローラ１０４’からモニタ１０８までの距離Ｚ２を測定しうる。] 図６Ｃ
    [0035] ユーザ１０２自体が距離Ｚ２まで移動した状態が示されているが、モバイル深度カメラは、ユーザ１０２が腕を使ってコントローラを前後に動かす動きに基づいて、距離の変化を決定しうる。例えば、モバイル深度カメラは、ユーザ１０２がコントローラを身体の近くに保持したとき、モニタ１０８までの距離Ｚ１を決定しうる。同様に、モバイル深度カメラは、ユーザが腕をモニタ１０８の方へ伸ばしたとき、モニタ１０８までの距離の変化を決定しうる。]
    [0036] いくつかの実施形態において、Ｚ１からＺ２までの距離の変化は、モニタ１０８上に表示されるセッションとインタラクションを行うために使用されうる。例えば、深度データおよび画像データは、三次元の仮想世界で対応する動きを決定するために処理されうる。１つの実施形態において、コントローラがモニタに向かって移動している間に深度データがキャプチャされると、モニタ１０８上には前進運動が表示されうる。同様に、コントローラがモニタから離れる方向に移動している間に深度データがキャプチャされると、モニタ上には後進運動が表示されうる。]
    [0037] 図７は、本発明の１つの実施形態による、空間内でのコントローラの位置を決定するために、モバイル深度カメラを使用する動作を示す例示的なフローチャートである。環境設定モジュール７００が、コントローラを較正する動作７０４と、コントローラの較正の結果をメモリに保存する動作７０６とを実行しうる。コントローラが較正されると、動作７０８は、インタラクティブセッションを開始する。１つの実施形態において、インタラクティブセッションは、コンピューティングコンソールによって実行され、インタラクティブゲームや、オペレーティングシステム、インターネットウェブブラウザ、およびディジタルフォトビューイングインタフェースのようなソフトウェアのグラフィックユーザインタフェースでありうるが、これらに限定されるものではない。コントローラの較正の結果がメモリに保存されうるため、いくつかの実施形態では、環境設定モジュール７００内での動作の実行が不要である。このような実施形態において、保存したコントローラの較正の結果は、インタラクティブセッションの開始前、開始後、または開始と同時にメモリから呼び出されうる。] 図７
    [0038] 他の実施形態において、環境設定モジュール７００は、インタラクティブセッションが開始された後に利用されうる。これらの実施形態により、コントローラは、特定のインタラクティブセッションの特定の微妙な差異に対してコントローラをカスタマイズできる。例えば、フォトビューイングのインタラクティブセッションの場合、モニタの方へコントローラを移動させることで、ユーザは、ディスプレイ上の画像を拡大できる。同様に、種々のインタラクティブゲーミングセッションにより、ユーザは、ゲームの種類に基づいてコントローラを較正可能であってもよい。モバイル深度カメラによってキャプチャされた深度データは、自動車運転シミュレーションの一面を制御するために利用されうるが、深度データの変化は、ファーストパーソンシューター（ＦＰＳ：Ｆｉｒｓｔ−Ｐｅｒｓｏｎ−Ｓｈｏｏｔｅｒ）において異なるものに使用されえ、深度データの同じ変化が、大規模多人数参加型オンラインロールプレイングゲーム（ＭＭＯＲＰＧ：Ｍａｓｓｉｖｅ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｒｏｌｅ Ｐｌａｙｉｎｇ Ｇａｍｅ）においてまったく異なるものを制御するために使用されうる。]
    [0039] インタラクティブセッションが、カスタマイズされたコントローラの較正を有する場合、環境設定モジュールは、ユーザがコントローラを較正し、コントローラの較正の結果をメモリに保存するように促してもよい。引き続き、インタラクティブセッションを開始すると、保存されたコントローラの較正の結果が自動的にロードされうる。複数のユーザが複数の較正の結果を格納しうる実施形態において、デフォルトの較正の結果がロードされてもよく、ユーザは、複数のユーザを表示するメニューから保存した較正の結果をロードするように選択しうる。]
    [0040] インタラクティブセッションが実行されているとき、画像処理モジュール７０２内の動作により、ユーザはインタラクティブセッションとのインタラクションが可能である。インタラクティブセッションが開始されると、動作７１６において、モバイル深度カメラのサンプルレートが設定されうる。サンプルレートは、インタラクティブセッションによって要求される正確さや精度に基づいて変動しうる。インターネットのウェブブラウザでのナビゲーションやオペレーティングシステムに対するグラフィックユーザインタフェースの利用のような実施形態において、サンプルレートは、ＦＰＳのものより低いものであってもよい。他の実施形態において、サンプルレートは、インタラクティブセッション中に継続的に修正されうる。]
    [0041] 例えば、モバイル深度カメラのサンプルレートは、正確さおよび精度が要求されるときに上げられ、引き続き、正確さおよび精度が要求されなくなれば下げられうる。これを利用可能な多くの実施例の１つは、ユーザが狙撃銃を使うＦＰＳである。狙撃銃の使用が難しいことをより現実的にシミュレートするために、モバイル深度検知カメラのサンプルレートは、ユーザの手の微小な動きをキャプチャして仮想狙撃銃の動きをシミュレートするために上げられうる。ユーザが狙撃銃を使わなくなれば、モバイル深度検知カメラの画像処理要求を下げるために、サンプルレートは、連続的に下げられうる。いくつかの実施形態において、コントローラ１０４内のプロセッサが、画像および深度データ処理を実行する。他の実施形態において、モバイル深度カメラからの画像および深度データは、指定されたサンプルレートでサンプリングされ、処理を行うためのコンピューティングコンソール１０６に送信される。いずれの実施形態においても、さらなる処理のために、コンソール１０６に処理済みのデータまたは生データを送信するように要求された帯域幅を低減するための圧縮技術が用いられてもよい。]
    [0042] 動作７１０では、モバイル深度カメラを用いて画像および深度データの第１のフレームをキャプチャする。動作７１２において、キャプチャされた画像および深度データは、画像内の認識された固定点を決定するために解析される。動作７１４では、認識された固定点に基づいて空間内の相対位置を決定する。動作７１６では、動作７１０を用いて画像および深度データの第２のフレームをキャプチャするときを決定するために、設定サンプルレートを用いる。動作７１８では、画像および深度データの第１のフレームと第２のフレームとの間の差を決定することによって、インタラクティブセッション内にアクションを生成する。]
    [0043] １つの実施形態において、画像処理モジュール７０２によって決定される動きは、コントローラ１０４へのさらなるユーザ入力を補足しうる。例えば、コントローラ１０４の揺れ、ピッチ、および回転を決定するために、画像および深度データに加えて、加速度計データが使用されうる。さらに、コントローラ１０４上のジョイスティック、ボタン、およびトリガが、さらなるユーザ入力を与えるように使用されうる。コントローラへのユーザ入力のさまざまな形態を組み合わせて使用できることから、動作７２０では、コントローラ１０４への入力に基づいてユーザインタラクションをディスプレイ１０８上に表示する。]
    [0044] 図８は、本発明の１つの実施形態による、空間内でのコントローラの位置を決定するためにモバイル深度カメラを較正する動作を示した例示的なフローチャートである。動作８００で、コントローラの較正を開始する。前述したように、コントローラの較正は、インタラクティブセッションの開始前または開始後に実行されうる。動作８０２では、第１の場所から画像および深度データをキャプチャする。較正を行いやすいように、ユーザは、空間内の近い場所に立つように画面上の図で促されてもよい。画面上の図により、第２の場所に立つように指示を出してもよく、動作８０４で第２の場所から画像および深度データをキャプチャする。他の実施形態において、ユーザは、コントローラの揺れ、ピッチ、および回転の変化のような種々の向きにコントローラを保持するように促されてもよい。さらなる実施形態において、ユーザは、空間の床の上方のさまざまな高さにコントローラを保持するように促されてもよい。] 図８
    [0045] 動作８０６では、認識された固定点を特定するために、第１および第２の場所でキャプチャされた画像および深度データを比較する。動作８０８において、認識された固定点は、認識された固定点間の相対比を決定するために、空間のワイヤフレームモデルを作成するように使用されうる。次に、認識された固定点間の相対比は、空間内のコントローラの相対位置を決定するために使用されうる。動作７０６は、コントローラの較正の結果をメモリに保存するために使用される。]
    [0046] 図９は、本発明の１つの実施形態による、ユーザ規定コントローラを生成するために動的三次元オブジェクトマッピングを利用可能なコンピュータシステムであるＳｏｎｙ（登録商標）Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）エンタテインメントデバイスのシステムアーキテクチャ全体を概略的に示す。システムユニット１０００には、システムユニット１０００に接続可能なさまざまな周辺デバイスが設けられる。システムユニット１０００は、Ｃｅｌｌプロセッサ１０２８と、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１０２６と、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１０３２を有するＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０と、Ｉ／Ｏブリッジ１０３４とを備える。システムユニット１０００はまた、Ｉ／Ｏブリッジ１０３４を通してアクセス可能な、ディスク１０４０ａからの読み取り用のＢｌｕ Ｒａｙ（登録商標）Ｄｉｓｋ ＢＤ−ＲＯＭ（登録商標）１０４０とリムーバブルスロットインハードディスクドライブ（ＨＤＤ）１０３６とを備える。任意に、システムユニット１０００はまた、同様にＩ／Ｏブリッジ１０３４を通してアクセス可能である、コンパクトフラッシュ（登録商標）メモリカード、Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）メモリカードなどを読み取るためのメモリカードリーダ１０３８を備える。] 図９
    [0047] Ｉ／Ｏブリッジ１０３４はまた、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１０２４と、ギガビットＥｔｈｅｒｎｅｔ（登録商標）ポート１０２２と、ＩＥＥＥ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ）ポート１０２０と、最大で７つのＢｌｕｅｔｏｏｔｈ接続までサポート可能なＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスリンクポート１０１８とに接続する。]
    [0048] 動作中、Ｉ／Ｏブリッジ１０３４は、１つ以上のゲームコントローラ１００２からのデータを含む、すべての無線、ＵＳＢ、およびＥｔｈｅｒｎｅｔ（登録商標）データを取り扱う。例えば、ユーザがゲームをプレイしているとき、Ｉ／Ｏブリッジ１０３４は、Ｂｌｕｅｔｏｏｔｈリンクを経由してゲームコントローラ１００２からデータを受信し、そのデータをＣｅｌｌプロセッサ１０２８に送り、Ｃｅｌｌプロセッサ１０２８は、それに応じてゲームの現在の状態を更新する。]
    [0049] 無線、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）ポートはまた、ゲームコントローラ１００２に加えて他の周辺デバイスに対しての接続性も与え、他の周辺デバイスは、例えば、リモートコントロール１００４、キーボード１００６、マウス１００８、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）エンタテインメントデバイスのようなポータブルエンタテインメントデバイス１０１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ１０１２のようなビデオカメラ、およびマイクロホンヘッドセット１０１４などである。したがって、このような周辺デバイスは、原則的に、システムユニット１０００に無線接続されてもよく、例えば、マイクロホンヘッドセット１０１４は、Ｂｌｕｅｔｏｏｔｈリンクを経由して通信しながら、ポータブルエンタテインメントデバイス１０１０は、Ｗｉ−Ｆｉアドホック接続を経由させて通信してもよい。]
    [0050] これらのインタフェースがあるということは、言い換えれば、Ｐｌａｙｓｔａｔｉｏｎ３デバイスが、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルカメラ、ポータブルメディアプレイヤー、ボイスオーバーＩＰ電話、携帯電話、プリンタ、およびスキャナなどの他の周辺デバイスとの互換性を潜在的に備えているということである。]
    [0051] 加えて、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）またはＰｌａｙｓｔａｔｉｏｎ２（登録商標）デバイスによって使用されている種類のメモリカード１０４８を読み取れるように、ＵＳＢポート１０２４を経由してシステムユニットに従来のメモリカードリーダ１０１６が接続されてもよい。]
    [0052] この実施形態において、ゲームコントローラ１００２は、Ｂｌｕｅｔｏｏｔｈリンクを経由してシステムユニット１０００と無線通信するように動作可能である。しかしながら、ゲームコントローラ１００２は、その代わりに、ＵＳＢポート１０２４を経由ポートに接続されてもよく、それにより、ゲームコントローラ１００２のバッテリを充電するための電力が供給される。１つ以上のアナログジョイスティックおよび従来の制御ボタンに加えて、ゲームコントローラは、各軸の並進および回転に対応する６自由度の動きに感応する。結果的に、ゲームコントローラのユーザによるジェスチャや動きが、従来のボタンやジョイスティックコマンドに加えて、またはその代わりに、入力としてゲームに反映されてもよい。任意に、Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅデバイスのような無線使用可能な他の周辺デバイスが、コントローラとして使用されてもよい。Ｐｌａｙｓｔａｉｏｎ Ｐｏｒｔａｂｌｅデバイスの場合、さらなるゲーム情報や制御情報（例えば、制御命令やライフ数）が、デバイスのスクリーン上に与えられてもよい。ダンスマット（図示せず）、光線銃（図示せず）、ハンドルとペダル（図示せず）、または迅速な応答を要するクイズゲーム用の１つまたは複数の大きなボタンのような特注コントローラ（図示せず）のような他の代替または補足的な制御デバイスが使用されてもよい。]
    [0053] リモートコントロール１００４はまた、Ｂｌｕｅｔｏｏｔｈリンクを経由してシステムユニット１０００と無線通信するように動作可能である。リモートコントロール１００４は、Ｂｌｕ Ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１０４０の動作およびディスクコンテントのナビゲーションに適したコントロールを備える。]
    [0054] Ｂｌｕ Ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１０４０は、従来の記録済みおよび記録可能なＣＤ、いわゆる、Ｓｕｐｅｒ Ａｕｄｉｏ ＣＤに加えて、ＰｌａｙｓｔａｔｉｏｎおよびＰｌａｙｓｔａｔｉｏｎ２と互換性のあるＣＤ−ＲＯＭを読み取るように動作可能である。リーダ１０４０はまた、従来の記録済みおよび記録可能なＤＶＤに加えて、Ｐｌａｙｓｔａｔｉｏｎ２およびＰｌａｙｓｔａｔｉｏｎ３デバイスと互換性のあるＤＶＤ−ＲＯＭを読み取るように動作可能である。リーダ１０４０は、さらに、従来の記録済みおよび記録可能なＢｌｕ−Ｒａｙ Ｄｉｓｋとともに、Ｐｌａｙｓｔａｔｉｏｎ３デバイスと互換性のあるＢＤ−ＲＯＭを読み取るように動作可能である。]
    [0055] システムユニット１０００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０を経由して、オーディオおよびビデオコネクタを通って、モニタ、またはディスプレイ１０４４および１つ以上のスピーカー１０４６を有するテレビ受像機などのディスプレイおよび音声出力デバイスへ、Ｐｌａｙｓｔａｔｉｏｎ３デバイスによって発生または復号化されたオーディオおよびビデオを供給するように動作可能である。オーディオコネクタ１０５０は、従来のアナログおよびディジタル出力を含んでもよく、ビデオコネクタ１０５２は、コンポーネントビデオ出力、Ｓビデオ出力、複合ビデオ出力、および１つ以上のＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）出力を種々に含んでもよい。結果的に、ビデオ出力は、ＰＡＬまたはＮＴＳＣなどの形式、または７２０ｐ、１０８０ｉ、または１０８０ｐの高精細のものであってもよい。]
    [0056] オーディオ処理（生成、復号など）が、Ｃｅｌｌプロセッサ１０２８によって実行される。Ｐｌａｙｓｔａｔｉｏｎ３デバイスのオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）Ｔｈｅａｔｒｅ Ｓｕｒｒｏｕｎｄ（ＤＴＳ）、およびＢｌｕ−Ｒａｙ（登録商標）ディスクからの７．１サラウンドサウンドの復号をサポートする。]
    [0057] この実施形態において、ビデオカメラ１０１２は、単一の電荷結合素子（ＣＣＤ）と、ＬＥＤインジケータと、ハードウェアベースの実時間データ圧縮および符号化装置とを含み、この装置では、システムユニット１０００によって復号化するためのイントラ画像ベースのＭＰＥＧ（動画専門家グループ）標準などの適切な形式で圧縮ビデオデータ送信されてもよい。カメラＬＥＤインジケータは、例えば、劣悪な照明条件を表すために、システムユニット１０００からの適切な制御データに応答して照明するように配設される。ビデオカメラ１０１２の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、またはＷｉ−Ｆｉ通信ポートを介して、システムユニット１０００に種々に接続されてもよい。ビデオカメラの実施形態は、１つ以上の関連するマイクロホンを含んでもよく、オーディオデータを送信可能であってもよい。ビデオカメラの実施形態において、ＣＣＤの解像度は、高解像度ビデオキャプチャに適したものであってもよい。使用中、ビデオカメラによってキャプチャされる画像は、例えば、ゲーム内に取り込まれてもよく、またはゲーム制御入力として解釈されてもよい。]
    [0058] 一般に、システムユニット１０００の通信ポートの１つを介して、ビデオカメラやリモートコントロールなどの周辺デバイスとのデータ通信をうまく行うために、デバイスドライバなどの適切なソフトウェアを提供する必要がある。デバイスドライバ技術は周知のものであるため、本明細書に記載する実施形態においてデバイスドライバまたは同様のソフトウェアインタフェースが要求されるであろうことを当業者が認識しているであろうことを述べるだけで、本明細書においては詳細に記載しない。]
    [0059] 実施形態は、現実世界のユーザをさらに良好に識別し、アバターまたはシーンの活動を指示するために、深度データをキャプチャすることを含む。物体は、人が保持しているものであっても、人の手であってもよい。本明細書において、「深度カメラ」および「三次元カメラ」という用語は、二次元のピクセル情報だけでなく、距離または深度情報を得ることが可能な任意のカメラをさす。例えば、深度カメラは、距離情報を得るために、制御された赤外線発光体を利用しうる。別の例示的な深度カメラは、２つの標準カメラを使用して距離情報を三角法で測定するステレオカメラペアでありうる。同様に、「深度検知デバイス」という用語は、二次元のピクセル情報だけでなく、距離情報を得ることが可能な任意のタイプのデバイスをさす。]
    [0060] 三次元画像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が新たに増えてきた。特に、新しい「深度カメラ」では、通常の二次元ビデオ画像の他にも、第三次元をキャプチャしマッピングすることができる。新しい深度データを用いて、本発明の実施形態により、他の物体の後方を含む、ビデオシーン内のさまざまな位置にリアルタイムでコンピュータ生成物体を配置できる。]
    [0061] さらに、本発明の実施形態により、ユーザにリアルタイムのインタラクティブなゲーム体験が提供される。例えば、ユーザは、さまざまなコンピュータ生成物体とリアルタイムにインタラクションできる。さらに、ビデオシーンは、ユーザのゲーム体験を高めるために、リアルタイムで変更されうる。例えば、コンピュータ生成のコスチュームを、ユーザの衣服の上にはめ込むことができ、コンピュータ生成の光源を、ビデオシーン内の仮想投影を映し出すために利用されうる。このようにして、本発明の実施形態および深度カメラを用いて、ユーザが、自分のリビングルームでインタラクティブなゲーム環境を体験できる。通常のカメラと同様に、深度カメラは、ビデオ画像を含む複数のピクセルの二次元データをキャプチャする。これらの値は、ピクセルに対するカラー値であり、一般に、各ピクセルに対して、赤、緑、および青（ＲＧＢ）の値である。この方法で、カメラによってキャプチャされた物体は、モニタ上に二次元の物体として現れる。]
    [0062] 本発明の実施形態はまた、分散型の画像処理構造についても検討する。例えば、本発明は、ＣＰＵまたはＣＰＵとその他の要素など、１つまたは２つの場所で行われている、キャプチャされた画像およびディスプレイ画像処理に限定されるものではない。例えば、入力画像処理は、処理を実行しうる関連のＣＰＵ、プロセッサ、またはデバイスにおいて容易に行うことができるものであり、本質的に全ての画像処理は、相互接続システムを通じて分散されうる。このように、本発明は、いずれの具体的な画像処理ハードウェア回路および／またはソフトウェアに限定されるものではない。本明細書に記載する実施形態もまた、一般のハードウェア回路および／またはソフトウェアの任意の特定の組み合わせにも、処理コンポーネントによって実行される命令に対する任意の特定のソースにも限定されるものではない。]
    [0063] 上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに格納されたデータを使用する、さまざまなコンピュータで実行される動作を用いてもよいことを理解されたい。これらの動作には、物理量の物理的な操作を必要とする動作が含まれる。この物理量は、通常、格納、転送、結合、比較、または他の操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。さらに、実行される操作は、多くの場合、生成、識別、判断、または比較などの用語で参照される。]
    [0064] 上述した本発明は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生電子機器、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施されてもよい。また、本発明は、分散コンピュータ環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。]
    [0065] 本発明はまた、コンピュータ可読媒体上にコンピュータ可読コードとして実現されることもできる。コンピュータ可読媒体は、電磁波キャリアを含む、コンピュータシステムによって後に読み取られうるデータを格納可能な任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、および他の光学および非光学データストレージデバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散式で格納され、実行されるように、ネットワークに接続されたコンピュータシステム上に分散されうる。]
    [0066] 明確に理解できるようにするために、前述した本発明はある程度詳細に記載してきたが、添付の特許請求の範囲内で特定の変更と修正がされるのは明らかであろう。したがって、本発明の実施形態は、例示的なものであり限定的なものではないと考慮されるべきであり、本発明は、本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正されてもよい。]
    权利要求:

    請求項1
    アプリケーションのインタフェースとなるように三次元空間におけるコントローラの位置を決定するためのコンピュータで実行される方法であって、（ａ）前記コントローラと一体化された深度カメラを用いて、三次元空間内の複数の固定点から認識された固定点群を特定するようにコンピュータプログラムを較正するステップと、（ｂ）使用中、前記アプリケーションとのインタフェース接続中に、前記コントローラおよび深度カメラの使用をアクティベートするステップとを含み、使用中において、（ｉ）前記コントローラの前記深度カメラを用いて、前記三次元空間内の画像および深度データをキャプチャし、（ｉｉ）前記認識された固定点群の１つ以上を求めるために、前記画像および深度データを解析し、（ｉｉｉ）（ｉ）および（ｉｉ）を繰り返し、（ｉｖ）前記認識された固定点群の求めた固定点の位置の変化に基づいて、前記コントローラの位置の変更を決定し、前記コントローラの決定された位置の変化に基づいて、前記アプリケーションによるアクションを引き起こす入力コマンドをトリガする、コンピュータで実行される方法。
    請求項2
    前記コントローラの動きが前記アプリケーションによる制御アクションに相関されるように、ステップ（ｉ）〜（ｖ）を周期的に繰り返すステップをさらに含む、請求項１に記載のコンピュータで実行される方法。
    請求項3
    前記アプリケーションが、モニタ上に仮想世界を描写するための命令を含み、前記アプリケーションによる前記アクションが、前記仮想世界内の動きに相関される、請求項２に記載の方法。
    請求項4
    前記コンピュータプログラムの較正ステップが、（ａ）第１の既知の場所から第１の画像の画像および深度データをキャプチャし、（ｂ）第２の既知の場所から第２の画像の画像および深度データをキャプチャし、（ｃ）前記第１の画像および前記第２の画像に基づいて、前記複数の固定点を決定する、請求項１に記載の方法。
    請求項5
    前記複数の固定点が、計算資源の需要を低減する能力に基づいて選択された認識された固定点群を決定するために解析される、請求項４に記載の方法。
    請求項6
    前記認識された固定点群が、三次元空間の仮想世界モデルを作成するために使用され、前記仮想世界モデルが、前記コントローラが前記空間内のさまざまな位置にあるとき、前記認識された固定点群の間の距離の比を決定するために使用される、請求項１に記載の方法。
    請求項7
    コンピュータシステムとインタラクションするためのコンピュータで実行される方法であって、（ａ）前記コンピュータシステム上で実行され、メモリから保存されたコントローラの較正の結果を自動的に適用するインタラクティブセッションを開始するステップと、（ｂ）モバイル深度カメラを有するコントローラへの入力を受け取るステップとを含み、前記入力が、（ｉ）前記モバイル深度カメラを用いて、空間内の画像および深度データをキャプチャし、（ｉｉ）１つ以上の認識された固定点の前記画像および深度データを解析し、（ｉｉｉ）（ｉ）および（ｉｉ）を繰り返し、（ｉｖ）前記認識された固定点間の差に基づいて、空間内のモバイル深度カメラの動きを決定し、（ｖ）前記モバイル深度カメラの動きに基づいて、前記インタラクティブセッション内のアクションを引き起こす入力コマンドをトリガすることによって決定される、コンピュータで実行される方法。
    請求項7
    前記コントローラへの入力が、前記インタラクティブセッション内の動きに相関されるように、ステップ（ｉ）〜（ｖ）を周期的に繰り返すステップをさらに含む、請求項６に記載のコンピュータで実行される方法。
    請求項8
    保存されたコントローラの較正の結果が、（ａ−ｉ）前記空間内の第１の既知の場所で第１の画像の画像および深度データをキャプチャし、（ａ−ｉｉ）前記空間内の第２の既知の場所で第２の画像の画像および深度データをキャプチャし、（ａ−ｉｉｉ）前記第１および第２の画像に基づいて、前記空間内の複数の固定点を決定し、（ａ−ｉｖ）認識された固定点群を規定するために、前記複数の固定点をフィルタリングすることによって生じる、請求項６に記載のコンピュータで実行される方法。
    請求項9
    前記認識された固定点群が、前記空間内の前記認識された固定点を区別可能であることに基づいて、前記複数の固定点から選択された、請求項８に記載の方法。
    請求項10
    前記認識された固定点を区別するステップが、前記モバイル深度カメラによってキャプチャされた深度データに部分的に基づいたものである、請求項９に記載の方法。
    請求項11
    前記認識された固定点群が、前記空間の仮想世界モデルを作成するように使用され、前記仮想世界モデルが、前記モバイル深度カメラが前記空間内のさまざまな位置にあるとき、前記認識された固定点群間の距離の比を決定するように使用される、請求項８に記載の方法。
    請求項12
    前記保存されたコントローラの較正の結果が、前記第１のフレームのキャプチャと前記第２のフレームのキャプチャとの間の時間間隔を規定するサンプルレートを決定する、請求項７に記載のコンピュータで実行される方法。
    請求項13
    前記インタラクティブセッション中、前記サンプルレートが、前記インタラクティブセッション内で起こるイベントに基づいて変化する、請求項１２に記載のコンピュータで実行される方法。
    請求項14
    コンピュータシステムのハンドヘルドコントローラであって、取り囲む外部および内部ボリュームによって規定されたコントローラハウジングと、前記ハウジングに外部に部分的に露出されたインタフェースコントロールと、深度モジュールと、画像モジュールと、処理ロジックとを含み、前記深度モジュールおよび画像モジュールが、カメラレンズを通して画像および深度データを受信するように規定される、深度カメラアセンブリと、前記深度カメラアセンブリの前記処理ロジックから前記コンピュータシステムにデータを送受信するように構成された通信モジュールとを備え、前記深度カメラアセンブリにより受信された画像および深度データへの変化が、前記コンピュータシステムに対する入力コマンドをトリガする、ハンドヘルドコントローラ。
    請求項15
    前記深度カメラアセンブリが、前記コントローラハウジング内に含まれ、前記カメラレンズが、前記コントローラハウジングの外部に露出される、請求項１４に記載のハンドヘルドコントローラ。
    請求項16
    ディスプレイ上にインタラクティブセッションを表示するように構成されたインタラクティブコンピューティングシステムであって、コンピューティングコンソールと、前記コンピューティングシステムのコントローラとを備え、前記コンピューティングコンソールが、中央演算処理装置と、グラフィック処理装置と、コンピューティングコンソールとの間に通信を与えるように構成された通信インタフェースとを含み、前記コントローラが、深度モジュールと、画像モジュールと、処理ロジックとを有する深度カメラと、前記深度カメラの前記処理ロジックから前記コンピューティングコンソールの前記通信インタフェースにデータを送受信するように構成された通信モジュールとを含み、前記深度カメラによってキャプチャされた画像および深度データの変化が、前記コンピューティングシステムの入力コマンドに変換される、コンピューティングシステム。
    請求項17
    前記深度モジュールが、深度データをキャプチャするように規定され、前記画像モジュールが、前記深度カメラの視野内にある物体の画像データをキャプチャするように規定される、請求項１２に記載のコンピューティングシステム。
    請求項18
    前記処理ロジックが、前記キャプチャされた深度データおよび画像データを処理するように規定される、請求項１２に記載のコンピュータシステム。
    請求項19
    前記通信モジュールが、前記深度カメラから前記コンピューティングコンソールへデータを送受信するように規定される、請求項１２に記載のコンピュータシステム。
    类似技术:
    公开号 | 公开日 | 专利标题
    US10062213B2|2018-08-28|Augmented reality spaces with adaptive rules
    US20200139227A1|2020-05-07|Head mounted display
    US10286299B2|2019-05-14|Transitioning gameplay on a head-mounted display
    US10124257B2|2018-11-13|Camera based safety mechanisms for users of head mounted displays
    US20180200628A1|2018-07-19|Storage medium storing information processing program, information processing device, information processing system, and information processing method
    US9818225B2|2017-11-14|Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
    US10445884B2|2019-10-15|Control device for communicating visual information
    CN105324738B|2018-12-18|在头戴式显示器中切换操作模式
    JP6550158B2|2019-07-24|System and method for reducing the number of hops associated with a head mount system
    US10315105B2|2019-06-11|Multi-image interactive gaming device
    US20170269685A1|2017-09-21|Spectating Virtual | Environments Associated With VR User Interactivity
    US10073516B2|2018-09-11|Methods and systems for user interaction within virtual reality scene using head mounted display
    JP6438087B2|2018-12-12|System and method for transitioning between transmissive mode and non-transmissive mode in a head mounted display
    US10339692B2|2019-07-02|Foveal adaptation of particles and simulation models in a foveated rendering system
    JP6532864B2|2019-06-19|System and method for generating an augmented virtual reality scene in a head mounted system with fewer hops
    JP6526184B2|2019-06-05|眼追跡によるリアルタイムレンズ収差補正
    US9310882B2|2016-04-12|Book object for augmented reality
    US10001645B2|2018-06-19|Using a second screen as a private tracking heads-up display
    CN105377117B|2018-08-10|基于用户的光学处方的头戴式显示器
    US10543430B2|2020-01-28|Expanded field of view re-rendering for VR spectating
    US20170209786A1|2017-07-27|Using a portable device to interact with a virtual space
    US9236032B2|2016-01-12|Apparatus and method for providing content experience service
    KR101260033B1|2013-05-06|디스플레이 시청 시스템 및 액티브 트래킹에 기초한 디스플레이 시청 최적화 방법
    EP2731082B1|2019-02-20|System and method of real time image playback
    US9573056B2|2017-02-21|Expandable control device via hardware attachment
    同族专利:
    公开号 | 公开日
    EP2255269A2|2010-12-01|
    US20090231425A1|2009-09-17|
    US20130113878A1|2013-05-09|
    KR101137646B1|2012-04-24|
    CN102027434B|2014-03-19|
    US20160080724A1|2016-03-17|
    EP2255269A4|2015-01-07|
    WO2009117311A3|2010-03-04|
    CN102027434A|2011-04-20|
    JP5362812B2|2013-12-11|
    US10129526B2|2018-11-13|
    US9197878B2|2015-11-24|
    KR20100125421A|2010-11-30|
    WO2009117311A2|2009-09-24|
    US20190082162A1|2019-03-14|
    US8368753B2|2013-02-05|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US20060277571A1|2002-07-27|2006-12-07|Sony Computer Entertainment Inc.|Computer image and audio processing of intensity and input devices for interfacing with a computer program|
    JP2006514366A|2003-02-11|2006-04-27|株式会社ソニー・コンピュータエンタテインメント|リアルタイムのモーション・キャプチャ方法および装置|
    US20040180720A1|2003-06-06|2004-09-16|Herschel Nashi|Video game contoller with integrated microphone and speaker|
    JP2006314777A|2005-05-10|2006-11-24|Pixart Imaging Inc|オリエンテーション装置およびそれに用いられる座標生成方法|
    JP2009508581A|2005-09-15|2009-03-05|株式会社ソニー・コンピュータエンタテインメント|Intensive computer image and sound processing and input device for interfacing with computer programs|
    JP2007328781A|2006-06-07|2007-12-20|Avago Technologies General Ip Private Ltd|インタラクティブな３次元位置追跡のためのシステム及び方法|WO2014016987A1|2012-07-27|2014-01-30|Ｎｅｃソフト株式会社|３次元ユーザインタフェース装置及び３次元操作方法|
    WO2014016992A1|2012-07-27|2014-01-30|Ｎｅｃソフト株式会社|３次元ユーザインタフェース装置及び３次元操作方法|
    KR20150140841A|2013-04-15|2015-12-16|마이크로소프트 테크놀로지 라이센싱, 엘엘씨|위성 디바이스 또는 디바이스들을 갖는 능동 스테레오|
    KR101734520B1|2016-01-15|2017-05-11|동서대학교 산학협력단|자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템|US3943277A|1969-02-20|1976-03-09|The United States Of America As Represented By The Secretary Of The Navy|Digital memory area correlation tracker|
    US4313227A|1979-01-29|1982-01-26|Texas Instruments Incorporated|Light energy information transmission system|
    US4263504A|1979-08-01|1981-04-21|Ncr Corporation|High density matrix code|
    US4565999A|1983-04-01|1986-01-21|Prime Computer, Inc.|Light pencil|
    US4558864A|1984-06-13|1985-12-17|Medwedeff Marion C|Handgrip exercising, computer game controller|
    US4843568A|1986-04-11|1989-06-27|Krueger Myron W|Real time perception of and response to the actions of an unencumbered participant/user|
    JPS6347616A|1986-08-15|1988-02-29|Hiroshi Kobayashi|Measurement of moving quantity|
    US4802227A|1987-04-03|1989-01-31|American Telephone And Telegraph Company|Noise reduction processing arrangement for microphone arrays|
    GB2206716A|1987-07-06|1989-01-11|Gen Electric Plc|Apparatus for monitoring the presence or movement of an object|
    IT1219405B|1988-06-27|1990-05-11|Fiat Ricerche|Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia|
    WO1990007162A1|1988-12-20|1990-06-28|Australian Meat And Live-Stock Research And Development Corporation|An optically readable coded target|
    US5034986A|1989-03-01|1991-07-23|Siemens Aktiengesellschaft|Method for detecting and tracking moving objects in a digital image sequence having a stationary background|
    US5055840A|1990-01-16|1991-10-08|Carroll Touch Incorporated|Infrared touch input device and light emitted activation circuit|
    WO1991017522A1|1990-05-01|1991-11-14|Wang Laboratories, Inc.|Hands-free hardware keyboard|
    US5111401A|1990-05-19|1992-05-05|The United States Of America As Represented By The Secretary Of The Navy|Navigational control system for an autonomous vehicle|
    US5662111A|1991-01-28|1997-09-02|Cosman; Eric R.|Process of stereotactic optical navigation|
    US5485273A|1991-04-22|1996-01-16|Litton Systems, Inc.|Ring laser gyroscope enhanced resolution system|
    US5534917A|1991-05-09|1996-07-09|Very Vivid, Inc.|Video image based control system|
    US5144594A|1991-05-29|1992-09-01|Cyber Scientific|Acoustic mouse system|
    US5455685A|1991-09-04|1995-10-03|Fuji Photo Film Co., Ltd.|Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed|
    US5889670A|1991-10-24|1999-03-30|Immersion Corporation|Method and apparatus for tactilely responsive user interface|
    US5444462A|1991-12-16|1995-08-22|Wambach; Mark L.|Computer mouse glove with remote communication|
    US6772057B2|1995-06-07|2004-08-03|Automotive Technologies International, Inc.|Vehicular monitoring systems using image processing|
    US5790834A|1992-08-31|1998-08-04|Intel Corporation|Apparatus and method using an ID instruction to identify a computer microprocessor|
    JP3244798B2|1992-09-08|2002-01-07|株式会社東芝|動画像処理装置|
    US7098891B1|1992-09-18|2006-08-29|Pryor Timothy R|Method for providing human input to a computer|
    US5394168A|1993-01-06|1995-02-28|Smith Engineering|Dual-mode hand-held game controller|
    US5335011A|1993-01-12|1994-08-02|Bell Communications Research, Inc.|Sound localization system for teleconferencing using self-steering microphone arrays|
    JP3679426B2|1993-03-15|2005-08-03|マサチューセッツ・インスティチュート・オブ・テクノロジーＭａｓｓａｃｈｕｓｅｔｔｓＩｎｓｔｉｔｕｔｅＯｆＴｅｃｈｎｏｌｏｇｙ|画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム|
    US5677710A|1993-05-10|1997-10-14|Apple Computer, Inc.|Recognition keypad|
    US5297061A|1993-05-19|1994-03-22|University Of Maryland|Three dimensional pointing device monitored by computer vision|
    FR2706637B1|1993-06-11|1995-10-27|Pentax Vision Co Ltd|Monture de lunettes.|
    US5959596A|1993-06-24|1999-09-28|Nintendo Co., Ltd.|Airline-based video game and communications system|
    US5581270A|1993-06-24|1996-12-03|Nintendo Of America, Inc.|Hotel-based video game and communication system|
    US5815411A|1993-09-10|1998-09-29|Criticom Corporation|Electro-optic vision system which exploits position and attitude|
    US5473701A|1993-11-05|1995-12-05|At&T Corp.|Adaptive microphone array|
    US6311214B1|1995-07-27|2001-10-30|Digimarc Corporation|Linking of computers based on optical sensing of digital data|
    JP2552427B2|1993-12-28|1996-11-13|コナミ株式会社|テレビ遊戯システム|
    FR2714502A1|1993-12-29|1995-06-30|Philips Laboratoire Electroniq|Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.|
    US5900863A|1995-03-16|1999-05-04|Kabushiki Kaisha Toshiba|Method and apparatus for controlling computer without touching input device|
    JPH086708A|1994-04-22|1996-01-12|Canon Inc|表示装置|
    US5543818A|1994-05-13|1996-08-06|Sony Corporation|Method and apparatus for entering text using an input device having a small number of keys|
    US5846086A|1994-07-01|1998-12-08|Massachusetts Institute Of Technology|System for human trajectory learning in virtual environments|
    US5563988A|1994-08-01|1996-10-08|Massachusetts Institute Of Technology|Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment|
    US5641319A|1994-08-10|1997-06-24|Lodgenet Entertainment Corporation|Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer|
    GB2301514B|1994-12-01|1999-06-09|Namco Ltd|Apparatus and method for image synthesization|
    JP3270643B2|1994-12-22|2002-04-02|キヤノン株式会社|指示位置検出方法及び装置|
    US5929444A|1995-01-31|1999-07-27|Hewlett-Packard Company|Aiming device using radiated energy|
    US5568928A|1995-02-01|1996-10-29|Exertron, Inc.|Video game controller for use with an exercise apparatus|
    US5638228A|1995-02-14|1997-06-10|Iomega Corporation|Retroreflective marker for data storage cartridge|
    US5930741A|1995-02-28|1999-07-27|Virtual Technologies, Inc.|Accurate, rapid, reliable position sensing using multiple sensing technologies|
    US5583478A|1995-03-01|1996-12-10|Renzi; Ronald|Virtual environment tactile system|
    KR19990008158A|1995-04-28|1999-01-25|모리시타요우이치|인터페이스 장치|
    US5706364A|1995-04-28|1998-01-06|Xerox Corporation|Method of producing character templates using unsegmented samples|
    US5913727A|1995-06-02|1999-06-22|Ahdoot; Ned|Interactive movement and contact simulation game|
    US5649021A|1995-06-07|1997-07-15|David Sarnoff Research Center, Inc.|Method and system for object detection for instrument control|
    CN1253636A|1995-06-22|2000-05-17|3Dv系统有限公司|远心光阑3维照相机及方法|
    IL114278A|1995-06-22|2010-06-16|Microsoft Internat Holdings B|Camera and method|
    AT191282T|1995-07-26|2000-04-15|Tegic Communications Inc|System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur|
    US7164413B2|1999-05-19|2007-01-16|Digimarc Corporation|Enhanced input peripheral|
    US5768415A|1995-09-08|1998-06-16|Lucent Technologies Inc.|Apparatus and methods for performing electronic scene analysis and enhancement|
    US5611731A|1995-09-08|1997-03-18|Thrustmaster, Inc.|Video pinball machine controller having an optical accelerometer for detecting slide and tilt|
    US5850222A|1995-09-13|1998-12-15|Pixel Dust, Inc.|Method and system for displaying a graphic image of a person modeling a garment|
    US5818424A|1995-10-19|1998-10-06|International Business Machines Corporation|Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space|
    US6281930B1|1995-10-20|2001-08-28|Parkervision, Inc.|System and method for controlling the field of view of a camera|
    US5963250A|1995-10-20|1999-10-05|Parkervision, Inc.|System and method for controlling the field of view of a camera|
    US5719561A|1995-10-25|1998-02-17|Gilbert R. Gonzales|Tactile communication device and method|
    US6282362B1|1995-11-07|2001-08-28|Trimble Navigation Limited|Geographical position/image digital recording and display system|
    US5870100A|1995-11-22|1999-02-09|Compaq Computer Corporation|Filling of graphical regions|
    EP0864145A4|1995-11-30|1998-12-16|Virtual Technologies Inc|Tactile feedback man-machine interface device|
    US6049619A|1996-02-12|2000-04-11|Sarnoff Corporation|Method and apparatus for detecting moving objects in two-and three-dimensional scenes|
    RU2069885C1|1996-03-01|1996-11-27|Йелстаун Корпорейшн Н.В.|Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления|
    JPH09244793A|1996-03-04|1997-09-19|Alps Electric Co Ltd|入力装置|
    CN100352532C|1996-03-05|2007-12-05|世嘉企业股份有限公司|操作输入装置和电子装置|
    JP3920348B2|1996-04-02|2007-05-30|コグネックスコーポレイション|平坦な鏡面基板の指標を観察する画像形成装置|
    US5937081A|1996-04-10|1999-08-10|O'brill; Michael R.|Image composition system and method of using same|
    US5923318A|1996-04-12|1999-07-13|Zhai; Shumin|Finger manipulatable 6 degree-of-freedom input device|
    US5917493A|1996-04-17|1999-06-29|Hewlett-Packard Company|Method and apparatus for randomly generating information for subsequent correlating|
    US5881366A|1996-05-01|1999-03-09|Logitech, Inc.|Wireless peripheral interface|
    US6516466B1|1996-05-02|2003-02-04|Vincent C. Jackson|Method and apparatus for portable digital entertainment system|
    US6151009A|1996-08-21|2000-11-21|Carnegie Mellon University|Method and apparatus for merging real and synthetic images|
    US6400374B2|1996-09-18|2002-06-04|Eyematic Interfaces, Inc.|Video superposition system and method|
    US5930383A|1996-09-24|1999-07-27|Netzer; Yishay|Depth sensing camera systems and methods|
    US5832931A|1996-10-30|1998-11-10|Photogen, Inc.|Method for improved selectivity in photo-activation and detection of molecular diagnostic agents|
    NL1004648C2|1996-11-11|1998-05-14|Johan Michiel Schaaij|Computerspelsysteem.|
    US5914723A|1996-12-30|1999-06-22|Sun Microsystems, Inc.|Method and system for converting images in computer systems|
    US6243491B1|1996-12-31|2001-06-05|Lucent Technologies Inc.|Methods and apparatus for controlling a video system with visually recognized props|
    US6021219A|1997-01-07|2000-02-01|Lucent Technologies Inc.|Methods and apparatus for distinguishing among several visual patterns|
    US5850473A|1997-01-07|1998-12-15|Lucent Technologies Inc.|Method and apparatus for compensating for color variation in a video system|
    US5796354A|1997-02-07|1998-08-18|Reality Quest Corp.|Hand-attachable controller with direction sensing|
    US5993314A|1997-02-10|1999-11-30|Stadium Games, Ltd.|Method and apparatus for interactive audience participation by audio command|
    US6009210A|1997-03-05|1999-12-28|Digital Equipment Corporation|Hands-free interface to a virtual reality environment using head tracking|
    US6327073B1|1997-03-07|2001-12-04|3Dv Systems, Ltd.|Opto-electronic shutter|
    US6061055A|1997-03-21|2000-05-09|Autodesk, Inc.|Method of tracking objects with an imaging device|
    US6144367A|1997-03-26|2000-11-07|International Business Machines Corporation|Method and system for simultaneous operation of multiple handheld control devices in a data processing system|
    US6587573B1|2000-03-20|2003-07-01|Gentex Corporation|System for controlling exterior vehicle lights|
    US8120652B2|1997-04-02|2012-02-21|Gentex Corporation|System for controlling vehicle equipment|
    JP3009633B2|1997-04-03|2000-02-14|コナミ株式会社|画像装置、画像表示方法および記録媒体|
    US6215898B1|1997-04-15|2001-04-10|Interval Research Corporation|Data processing system and method|
    US6809776B1|1997-04-23|2004-10-26|Thomson Licensing S.A.|Control of video level by region and content of information displayed|
    US6428411B1|1997-05-02|2002-08-06|Konami Co., Ltd.|Volleyball video game system|
    NO304715B1|1997-05-06|1999-02-01|Dimensions As|FremgangsmÕte ved bildebehandling|
    JP3183632B2|1997-06-13|2001-07-09|株式会社ナムコ|情報記憶媒体及び画像生成装置|
    US6075895A|1997-06-20|2000-06-13|Holoplex|Methods and apparatus for gesture recognition based on templates|
    US6094625A|1997-07-03|2000-07-25|Trimble Navigation Limited|Augmented vision for survey work and machine control|
    WO1999006956A1|1997-07-29|1999-02-11|Koninklijke Philips Electronics N.V.|Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system|
    US6044181A|1997-08-01|2000-03-28|Microsoft Corporation|Focal length estimation method and apparatus for construction of panoramic mosaic images|
    US6720949B1|1997-08-22|2004-04-13|Timothy R. Pryor|Man machine interfaces and applications|
    US6297838B1|1997-08-29|2001-10-02|Xerox Corporation|Spinning as a morpheme for a physical manipulatory grammar|
    US6101289A|1997-10-15|2000-08-08|Electric Planet, Inc.|Method and apparatus for unencumbered capture of an object|
    AU1099899A|1997-10-15|1999-05-03|Electric Planet, Inc.|Method and apparatus for performing a clean background subtraction|
    US6031934A|1997-10-15|2000-02-29|Electric Planet, Inc.|Computer vision system for subject characterization|
    JPH11154240A|1997-11-20|1999-06-08|Nintendo Co Ltd|取込み画像を用いて画像を作成するための画像作成装置|
    US6166744A|1997-11-26|2000-12-26|Pathfinder Systems, Inc.|System for combining virtual images with real-world scenes|
    US6762794B1|1997-12-03|2004-07-13|Canon Kabushiki Kaisha|Image pick-up apparatus for stereoscope|
    US6677987B1|1997-12-03|2004-01-13|8×8, Inc.|Wireless user-interface arrangement and method|
    US6195104B1|1997-12-23|2001-02-27|Philips Electronics North America Corp.|System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs|
    US6160540A|1998-01-12|2000-12-12|Xerox Company|Zoomorphic computer user interface|
    US6134346A|1998-01-16|2000-10-17|Ultimatte Corp|Method for removing from an image the background surrounding a selected object|
    JP4195189B2|1998-02-08|2008-12-10|スリーディーヴィーシステムズリミテッド|大開口光画像シャッタ|
    US6115052A|1998-02-12|2000-09-05|Mitsubishi Electric Information Technology Center America, Inc. |System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence|
    US6175343B1|1998-02-24|2001-01-16|Anivision, Inc.|Method and apparatus for operating the overlay of computer-generated effects onto a live image|
    US6037942A|1998-03-10|2000-03-14|Magellan Dis, Inc.|Navigation system character input device|
    US6411392B1|1998-04-15|2002-06-25|Massachusetts Institute Of Technology|Method and apparatus for data hiding in printed images|
    US6173059B1|1998-04-24|2001-01-09|Gentner Communications Corporation|Teleconferencing system with visual feedback|
    US6593956B1|1998-05-15|2003-07-15|Polycom, Inc.|Locating an audio source|
    US6473516B1|1998-05-22|2002-10-29|Asa Systems, Inc.|Large capacity steganography|
    JP3646969B2|1998-05-25|2005-05-11|富士通株式会社|３次元画像表示装置|
    JP3841132B2|1998-06-01|2006-11-01|株式会社ソニー・コンピュータエンタテインメント|入力位置検出装置及びエンタテインメントシステム|
    FR2780176B1|1998-06-17|2001-01-26|Gabriel Guary|Pistolet de tir pour jeu video|
    JP2000020163A|1998-06-30|2000-01-21|Sony Corp|情報処理装置|
    US6504535B1|1998-06-30|2003-01-07|Lucent Technologies Inc.|Display techniques for three-dimensional virtual reality|
    IL125221D0|1998-07-06|1999-03-12|Toy Control Ltd|Motion activation using passive sound source|
    US7121946B2|1998-08-10|2006-10-17|Cybernet Systems Corporation|Real-time head tracking system for computer games and other applications|
    US20020036617A1|1998-08-21|2002-03-28|Timothy R. Pryor|Novel man machine interfaces and applications|
    US6256398B1|1998-08-22|2001-07-03|Kenneth H. P. Chang|Encoding and decoding a message within an image|
    US6621938B1|1998-09-18|2003-09-16|Fuji Photo Film Co., Ltd.|Image capture apparatus and method|
    US6184863B1|1998-10-13|2001-02-06|The George Washington University|Direct pointing apparatus and method therefor|
    DE19849515C1|1998-10-19|2000-12-28|Gerhard Wergen|Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens|
    US6307568B1|1998-10-28|2001-10-23|Imaginarix Ltd.|Virtual dressing over the internet|
    US6409602B1|1998-11-06|2002-06-25|New Millenium Gaming Limited|Slim terminal gaming system|
    US6533420B1|1999-01-22|2003-03-18|Dimension Technologies, Inc.|Apparatus and method for generating and projecting autostereoscopic images|
    US7139767B1|1999-03-05|2006-11-21|Canon Kabushiki Kaisha|Image processing apparatus and database|
    JP2000261752A|1999-03-05|2000-09-22|Hewlett Packard Co <Hp>|音声付き画像録画再生装置|
    JP2000259856A|1999-03-09|2000-09-22|Nippon Telegr & Teleph Corp <Ntt>|３次元コンピュータグラフィックス表示方法及び装置|
    US6323942B1|1999-04-30|2001-11-27|Canesta, Inc.|CMOS-compatible three-dimensional image sensor IC|
    US6791531B1|1999-06-07|2004-09-14|Dot On, Inc.|Device and method for cursor motion control calibration and object selection|
    JP2000350859A|1999-06-11|2000-12-19|Mr System Kenkyusho:Kk|マーカ配置方法及び複合現実感装置|
    JP2000350865A|1999-06-11|2000-12-19|Mr System Kenkyusho:Kk|複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体|
    JP2000356972A|1999-06-15|2000-12-26|Pioneer Electronic Corp|発光パネルの駆動装置及び方法|
    US6952198B2|1999-07-06|2005-10-04|Hansen Karl C|System and method for communication with enhanced optical pointer|
    US6819318B1|1999-07-23|2004-11-16|Z. Jason Geng|Method and apparatus for modeling via a three-dimensional image mosaic system|
    US6545706B1|1999-07-30|2003-04-08|Electric Planet, Inc.|System, method and article of manufacture for tracking a head of a camera-generated image of a person|
    US6417836B1|1999-08-02|2002-07-09|Lucent Technologies Inc.|Computer input device having six degrees of freedom for controlling movement of a three-dimensional object|
    JP2001056742A|1999-08-19|2001-02-27|Alps Electric Co Ltd|入力装置|
    US6556704B1|1999-08-25|2003-04-29|Eastman Kodak Company|Method for forming a depth image from digital image data|
    DE69922706T2|1999-09-08|2005-12-08|3Dv Systems Ltd.|3d- bilderzeugungssystem|
    WO2001022737A1|1999-09-17|2001-03-29|Nature Technology Co., Ltd.|Systeme de saisie d'images, processeur d'images et camera associee|
    US6441825B1|1999-10-04|2002-08-27|Intel Corporation|Video token tracking system for animation|
    JP3847058B2|1999-10-04|2006-11-15|任天堂株式会社|ゲームシステム及びそれに用いられるゲーム情報記憶媒体|
    US6753849B1|1999-10-27|2004-06-22|Ken Curran & Associates|Universal remote TV mouse|
    WO2001042930A1|1999-12-09|2001-06-14|Zephyr Media, Inc.|System and method for integration of a universally publicly accessible global network|
    US6785329B1|1999-12-21|2004-08-31|Microsoft Corporation|Automatic video object extraction|
    KR100384406B1|2000-01-24|2003-05-22| 베스트소프트|컴퓨터 프로그램 구동조작장치|
    US20010056477A1|2000-02-15|2001-12-27|Mcternan Brennan J.|Method and system for distributing captured motion data over a network|
    AU4328501A|2000-03-02|2001-09-12|Donnelly Corp|Video mirror systems incorporating an accessory module|
    JP2001265275A|2000-03-16|2001-09-28|Olympus Optical Co Ltd|画像表示装置|
    US6676522B2|2000-04-07|2004-01-13|Igt|Gaming system including portable game devices|
    US6924787B2|2000-04-17|2005-08-02|Immersion Corporation|Interface for controlling a graphical image|
    WO2001091016A1|2000-05-25|2001-11-29|Realitybuy, Inc.|A real time, three-dimensional, configurable, interactive product display system and method|
    US6970183B1|2000-06-14|2005-11-29|E-Watch, Inc.|Multimedia surveillance and monitoring system including network configuration|
    US20020056114A1|2000-06-16|2002-05-09|Fillebrown Lisa A.|Transmitter for a personal wireless network|
    TW527518B|2000-07-14|2003-04-11|Massachusetts Inst Technology|Method and system for high resolution, ultra fast, 3-D imaging|
    US6795068B1|2000-07-21|2004-09-21|Sony Computer Entertainment Inc.|Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program|
    AUPQ896000A0|2000-07-24|2000-08-17|Seeing Machines Pty Ltd|Facial image processing system|
    WO2002008849A2|2000-07-24|2002-01-31|Herman Ehrenburg|Computer-compatible, color-coded manual input system|
    US7227526B2|2000-07-24|2007-06-05|Gesturetek, Inc.|Video-based image control system|
    US7039253B2|2001-07-24|2006-05-02|Casio Computer Co., Ltd.|Image display device, image display method, program, and projection system|
    US20020094189A1|2000-07-26|2002-07-18|Nassir Navab|Method and system for E-commerce video editing|
    JP3561463B2|2000-08-11|2004-09-02|コナミ株式会社|３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置|
    JP4815661B2|2000-08-24|2011-11-16|ソニー株式会社|信号処理装置及び信号処理方法|
    US7071914B1|2000-09-01|2006-07-04|Sony Computer Entertainment Inc.|User input device and method for interaction with graphic images|
    WO2002061707A2|2000-09-08|2002-08-08|Honeywell International Inc.|Pilot internet practice system and methods|
    US6884171B2|2000-09-18|2005-04-26|Nintendo Co., Ltd.|Video game distribution network|
    FR2814965A1|2000-10-11|2002-04-12|Janick Simeray|Ordinateur et jouets cooperants|
    US7061507B1|2000-11-12|2006-06-13|Bitboys, Inc.|Antialiasing method and apparatus for video applications|
    JP2002157607A|2000-11-17|2002-05-31|Canon Inc|画像生成システム、画像生成方法および記憶媒体|
    AU2695602A|2000-11-22|2002-06-03|Leap Wireless Int Inc|Method and system for providing interactive services over a wireless communications network|
    KR100385563B1|2000-12-01|2003-05-27|한국과학기술원|구동수단을 갖는 분광 광도계와 광도 측정방법|
    US20040070565A1|2001-12-05|2004-04-15|Nayar Shree K|Method and apparatus for displaying images|
    US6852032B2|2000-12-06|2005-02-08|Nikon Corporation|Game machine, method of performing game and computer-readable medium|
    US6751338B1|2000-12-15|2004-06-15|Cognex Corporation|System and method of using range image data with machine vision tools|
    US20020085097A1|2000-12-22|2002-07-04|Colmenarez Antonio J.|Computer vision-based wireless pointing system|
    EP1371019A2|2001-01-26|2003-12-17|Zaxel Systems, Inc.|Real-time virtual viewpoint in simulated reality environment|
    DE10103922A1|2001-01-30|2002-08-01|Physoptics Opto Electronic Gmb|Interaktives Datensicht- und Bediensystem|
    US6741741B2|2001-02-01|2004-05-25|Xerox Corporation|System and method for automatically detecting edges of scanned documents|
    US6789967B1|2001-02-02|2004-09-14|George Forester|Distal chording keyboard|
    US20020134151A1|2001-02-05|2002-09-26|Matsushita Electric Industrial Co., Ltd.|Apparatus and method for measuring distances|
    US6746124B2|2001-02-06|2004-06-08|Robert E. Fischer|Flashlight producing uniform high brightness|
    US7116330B2|2001-02-28|2006-10-03|Intel Corporation|Approximating motion using a three-dimensional model|
    US6931596B2|2001-03-05|2005-08-16|Koninklijke Philips Electronics N.V.|Automatic positioning of display depending upon the viewer's location|
    GB2376397A|2001-06-04|2002-12-11|Hewlett Packard Co|Virtual or augmented reality|
    JP2002369969A|2001-06-15|2002-12-24|Sun Corp|通信ゲーム用プログラム、アダプタおよびゲーム端末|
    JP2003018604A|2001-07-04|2003-01-17|Matsushita Electric Ind Co Ltd|画像信号符号化方法、画像信号符号化装置および記録媒体|
    US20030014212A1|2001-07-12|2003-01-16|Ralston Stuart E.|Augmented vision system using wireless communications|
    JP3611807B2|2001-07-19|2005-01-19|コナミ株式会社|ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム|
    KR20030009919A|2001-07-24|2003-02-05|삼성전자주식회사|관성 센서를 구비하는 컴퓨터 게임용 입력 장치|
    US7148922B2|2001-08-02|2006-12-12|Olympus Optical Co., Ltd.|Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence|
    JP3442754B2|2001-08-10|2003-09-02|株式会社コナミコンピュータエンタテインメント東京|ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム|
    US6709108B2|2001-08-31|2004-03-23|Adaptive Optics Associates, Inc.|Ophthalmic instrument with adaptive optic subsystem that measures aberrations of a human eye and that provides a view of compensation of such aberrations to the human eye|
    KR100846761B1|2001-09-11|2008-07-16|삼성전자주식회사|포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치|
    JP2003114640A|2001-10-04|2003-04-18|Nec Corp|プラズマディスプレイパネル及びその駆動方法|
    JP4028708B2|2001-10-19|2007-12-26|株式会社コナミデジタルエンタテインメント|ゲーム装置及びゲームシステム|
    US20030093591A1|2001-11-09|2003-05-15|David Hohl|System and method for fast data transfer to display driver|
    FR2832892B1|2001-11-27|2004-04-02|Thomson Licensing Sa|Camera video d'effets speciaux|
    US20030100363A1|2001-11-28|2003-05-29|Ali Guiseppe C.|Method and apparatus for inputting appearance of computer operator into a computer program|
    KR20030048570A|2001-12-12|2003-06-25|한국전자통신연구원|부가적 버튼을 장착한 키패드 및 그의 작동방법|
    US7106366B2|2001-12-19|2006-09-12|Eastman Kodak Company|Image capture system incorporating metadata to facilitate transcoding|
    US7305114B2|2001-12-26|2007-12-04|Cognex Technology And Investment Corporation|Human/machine interface for a machine vision sensor and method for installing and operating the same|
    US7436887B2|2002-02-06|2008-10-14|Playtex Products, Inc.|Method and apparatus for video frame sequence-based object tracking|
    US6990639B2|2002-02-07|2006-01-24|Microsoft Corporation|System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration|
    US20030160862A1|2002-02-27|2003-08-28|Charlier Michael L.|Apparatus having cooperating wide-angle digital camera system and microphone array|
    GB2388418A|2002-03-28|2003-11-12|Marcus James Eales|Input or pointing device with a camera|
    US6847311B2|2002-03-28|2005-01-25|Motorola Inc.|Method and apparatus for character entry in a wireless communication device|
    US7006009B2|2002-04-01|2006-02-28|Key Energy Services, Inc.|Servicing system for wells|
    US20030199324A1|2002-04-23|2003-10-23|Xiaoling Wang|Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light|
    US9682319B2|2002-07-31|2017-06-20|Sony Interactive Entertainment Inc.|Combiner method for altering game gearing|
    JP2004021345A|2002-06-12|2004-01-22|Toshiba Corp|画像処理装置及びその方法|
    US20030232649A1|2002-06-18|2003-12-18|Gizis Alexander C.M.|Gaming system and method|
    US20040001082A1|2002-06-26|2004-01-01|Amir Said|System and method of interaction with a computer controlled image display system using a projected light source|
    JP5109221B2|2002-06-27|2012-12-26|新世代株式会社|ストロボスコープを使った入力システムを備える情報処理装置|
    CA2390072C|2002-06-28|2018-02-27|Adrian Gh Podoleanu|Optical mapping apparatus with adjustable depth resolution and multiple functionality|
    US7227976B1|2002-07-08|2007-06-05|Videomining Corporation|Method and system for real-time facial image enhancement|
    US20040017355A1|2002-07-24|2004-01-29|Youngtack Shim|Cursor control systems and methods|
    US7102615B2|2002-07-27|2006-09-05|Sony Computer Entertainment Inc.|Man-machine interface using a deformable device|
    US20060256081A1|2002-07-27|2006-11-16|Sony Computer Entertainment America Inc.|Scheme for detecting and tracking user manipulation of a game controller body|
    US7854655B2|2002-07-27|2010-12-21|Sony Computer Entertainment America Inc.|Obtaining input for controlling execution of a game program|
    US9474968B2|2002-07-27|2016-10-25|Sony Interactive Entertainment America Llc|Method and system for applying gearing effects to visual tracking|
    US7803050B2|2002-07-27|2010-09-28|Sony Computer Entertainment Inc.|Tracking device with sound emitter for use in obtaining information for controlling game program execution|
    US7850526B2|2002-07-27|2010-12-14|Sony Computer Entertainment America Inc.|System for tracking user manipulations within an environment|
    US8313380B2|2002-07-27|2012-11-20|Sony Computer Entertainment America Llc|Scheme for translating movements of a hand-held controller into inputs for a system|
    US8686939B2|2002-07-27|2014-04-01|Sony Computer Entertainment Inc.|System, method, and apparatus for three-dimensional input control|
    US7391409B2|2002-07-27|2008-06-24|Sony Computer Entertainment America Inc.|Method and system for applying gearing effects to multi-channel mixed input|
    US7760248B2|2002-07-27|2010-07-20|Sony Computer Entertainment Inc.|Selective sound source listening in conjunction with computer interactive processing|
    US7352359B2|2002-07-27|2008-04-01|Sony Computer Entertainment America Inc.|Method and system for applying gearing effects to inertial tracking|
    US8947347B2|2003-08-27|2015-02-03|Sony Computer Entertainment Inc.|Controlling actions in a video game unit|
    US8073157B2|2003-08-27|2011-12-06|Sony Computer Entertainment Inc.|Methods and apparatus for targeted sound detection and characterization|
    US7623115B2|2002-07-27|2009-11-24|Sony Computer Entertainment Inc.|Method and apparatus for light input device|
    US9393487B2|2002-07-27|2016-07-19|Sony Interactive Entertainment Inc.|Method for mapping movements of a hand-held controller to game commands|
    US10086282B2|2002-07-27|2018-10-02|Sony Interactive Entertainment Inc.|Tracking device for use in obtaining information for controlling game program execution|
    US20060264260A1|2002-07-27|2006-11-23|Sony Computer Entertainment Inc.|Detectable and trackable hand-held controller|
    US7874917B2|2003-09-15|2011-01-25|Sony Computer Entertainment Inc.|Methods and systems for enabling depth and direction detection when interfacing with a computer program|
    US20060282873A1|2002-07-27|2006-12-14|Sony Computer Entertainment Inc.|Hand-held controller having detectable elements for tracking purposes|
    US7783061B2|2003-08-27|2010-08-24|Sony Computer Entertainment Inc.|Methods and apparatus for the targeted sound detection|
    US8797260B2|2002-07-27|2014-08-05|Sony Computer Entertainment Inc.|Inertially trackable hand-held controller|
    US20070015559A1|2002-07-27|2007-01-18|Sony Computer Entertainment America Inc.|Method and apparatus for use in determining lack of user activity in relation to a system|
    US7918733B2|2002-07-27|2011-04-05|Sony Computer Entertainment America Inc.|Multi-input game control mixer|
    US7039199B2|2002-08-26|2006-05-02|Microsoft Corporation|System and process for locating a speaker using 360 degree sound source localization|
    US6917688B2|2002-09-11|2005-07-12|Nanyang Technological University|Adaptive noise cancelling microphone system|
    US20040063480A1|2002-09-30|2004-04-01|Xiaoling Wang|Apparatus and a method for more realistic interactive video games on computers or similar devices|
    EP1411461A1|2002-10-14|2004-04-21|STMicroelectronics Asia Pacific Pte Ltd.|User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection|
    US6995666B1|2002-10-16|2006-02-07|Luttrell Clyde K|Cellemetry-operated railroad switch heater|
    JP2004145448A|2002-10-22|2004-05-20|Toshiba Corp|端末装置、サーバ装置および画像加工方法|
    US20050037844A1|2002-10-30|2005-02-17|Nike, Inc.|Sigils for use with apparel|
    US8206219B2|2002-10-30|2012-06-26|Nike, Inc.|Interactive gaming apparel for interactive gaming|
    JP2006504504A|2002-10-30|2006-02-09|ナイキ・インコーポレーテッドＮｉｋｅＩｎｃ|対話型活動装置で使用する標的|
    US20040095327A1|2002-11-14|2004-05-20|Lo Fook Loong|Alphanumeric data input system and method|
    US8012025B2|2002-12-13|2011-09-06|Applied Minds, Llc|Video game controller hub with control input reduction and combination schemes|
    US7212308B2|2002-12-18|2007-05-01|Morgan Carol L|Interactive photo kiosk|
    US20040140955A1|2003-01-21|2004-07-22|Metz Kristofer Erik|Input device for a computer and method of operation|
    EP1588552A1|2003-01-22|2005-10-26|Nokia Corporation|Image control|
    JP2004261236A|2003-02-20|2004-09-24|Konami Co Ltd|ゲームシステム|
    GB2398690B|2003-02-21|2006-05-10|Sony Comp Entertainment Europe|Control of data processing|
    GB2398691B|2003-02-21|2006-05-31|Sony Comp Entertainment Europe|Control of data processing|
    JP3849654B2|2003-02-21|2006-11-22|株式会社日立製作所|投射型表示装置|
    US7519186B2|2003-04-25|2009-04-14|Microsoft Corporation|Noise reduction systems and methods for voice applications|
    US7379559B2|2003-05-28|2008-05-27|Trw Automotive U.S. Llc|Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system|
    TW571812U|2003-06-11|2004-01-11|Vision Electronics Co Ltd|Audio device for TV game machine|
    DE60308342T2|2003-06-17|2007-09-06|Sony Ericsson Mobile Communications Ab|Verfahren und Vorrichtung zur Sprachaktivitätsdetektion|
    US7116342B2|2003-07-03|2006-10-03|Sportsmedia Technology Corporation|System and method for inserting content into an image sequence|
    US7613310B2|2003-08-27|2009-11-03|Sony Computer Entertainment Inc.|Audio input system|
    US8233642B2|2003-08-27|2012-07-31|Sony Computer Entertainment Inc.|Methods and apparatuses for capturing an audio signal based on a location of the signal|
    US8160269B2|2003-08-27|2012-04-17|Sony Computer Entertainment Inc.|Methods and apparatuses for adjusting a listening area for capturing sounds|
    US8139793B2|2003-08-27|2012-03-20|Sony Computer Entertainment Inc.|Methods and apparatus for capturing audio signals based on a visual image|
    CA2544183A1|2003-10-28|2005-05-19|Welch Allyn, Inc.|Digital documenting ophthalmoscope|
    US20050105777A1|2003-11-18|2005-05-19|Kozlowski William J.Jr.|Personalized multimedia summary|
    US7734729B2|2003-12-31|2010-06-08|Amazon Technologies, Inc.|System and method for obtaining information relating to an item of commerce using a portable imaging device|
    US7970147B2|2004-04-07|2011-06-28|Sony Computer Entertainment Inc.|Video game controller with noise canceling logic|
    US7296007B1|2004-07-06|2007-11-13|Ailive, Inc.|Real time context learning by software agents|
    US7937243B2|2007-08-03|2011-05-03|Ailive, Inc.|Method and apparatus for non-disruptive embedding of specialized elements|
    US7263462B2|2004-07-30|2007-08-28|Ailive, Inc.|Non-disruptive embedding of specialized elements|
    US7613610B1|2005-03-14|2009-11-03|Escription, Inc.|Transcription data extraction|
    KR100630118B1|2005-04-21|2006-09-27|삼성전자주식회사|망간 광섬유 공유 시스템|
    US8157651B2|2005-09-12|2012-04-17|Nintendo Co., Ltd.|Information processing program|
    JP4773170B2|2005-09-14|2011-09-14|任天堂株式会社|ゲームプログラムおよびゲームシステム|
    US7927216B2|2005-09-15|2011-04-19|Nintendo Co., Ltd.|Video game system with wireless modular handheld controller|
    US20070061413A1|2005-09-15|2007-03-15|Larsen Eric J|System and method for obtaining user information from voices|
    WO2007037227A1|2005-09-27|2007-04-05|Tamura Corporation|位置情報検出装置、位置情報検出方法及び位置情報検出プログラム|
    US7620316B2|2005-11-28|2009-11-17|Navisense|Method and device for touchless control of a camera|
    US7834850B2|2005-11-29|2010-11-16|Navisense|Method and system for object control|
    JP4118920B2|2006-02-22|2008-07-16|株式会社スクウェア・エニックス|ゲーム装置、フィールド間境界表示方法、並びにプログラム及び記録媒体|
    JP4530419B2|2006-03-09|2010-08-25|任天堂株式会社|座標算出装置および座標算出プログラム|
    US7809145B2|2006-05-04|2010-10-05|Sony Computer Entertainment Inc.|Ultra small microphone array|
    US7545926B2|2006-05-04|2009-06-09|Sony Computer Entertainment Inc.|Echo and noise cancellation|
    US7697700B2|2006-05-04|2010-04-13|Sony Computer Entertainment Inc.|Noise removal for electronic device with far field microphone on console|
    US8766983B2|2006-05-07|2014-07-01|Sony Computer Entertainment Inc.|Methods and systems for processing an interchange of real time effects during video communication|
    US20070260517A1|2006-05-08|2007-11-08|Gary Zalewski|Profile detection|
    US9327191B2|2006-05-08|2016-05-03|Nintendo Co., Ltd.|Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints|
    US20070261077A1|2006-05-08|2007-11-08|Gary Zalewski|Using audio/visual environment to select ads on game platform|
    JP5330640B2|2006-05-09|2013-10-30|任天堂株式会社|ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法|
    US8419545B2|2007-11-28|2013-04-16|Ailive, Inc.|Method and system for controlling movements of objects in a videogame|
    US20090221368A1|2007-11-28|2009-09-03|Ailive Inc.,|Method and system for creating a shared game space for a networked game|
    JP4481280B2|2006-08-30|2010-06-16|富士フイルム株式会社|画像処理装置、及び画像処理方法|
    US8277316B2|2006-09-14|2012-10-02|Nintendo Co., Ltd.|Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting|
    US7971156B2|2007-01-12|2011-06-28|International Business Machines Corporation|Controlling resource access based on user gesturing in a 3D captured image stream of the user|
    US7636697B1|2007-01-29|2009-12-22|Ailive Inc.|Method and system for rapid evaluation of logical expressions|
    US20080215975A1|2007-03-01|2008-09-04|Phil Harrison|Virtual world user opinion & response monitoring|
    JP4929061B2|2007-06-04|2012-05-09|株式会社コナミデジタルエンタテインメント|ゲーム装置、ゲーム装置の制御方法及びプログラム|
    US7636645B1|2007-06-18|2009-12-22|Ailive Inc.|Self-contained inertial navigation system for interactive control using movable controllers|
    US20080318679A1|2007-06-21|2008-12-25|Alexander Bach Tran|Foot game controller with motion detection and/or position detection|
    US8237656B2|2007-07-06|2012-08-07|Microsoft Corporation|Multi-axis motion-based remote control|
    JP5296337B2|2007-07-09|2013-09-25|任天堂株式会社|画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法|
    US20090066693A1|2007-09-06|2009-03-12|Roc Carson|Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames|
    US8902227B2|2007-09-10|2014-12-02|Sony Computer Entertainment America Llc|Selective interactive mapping of real-world objects to create interactive virtual-world objects|
    US8368753B2|2008-03-17|2013-02-05|Sony Computer Entertainment America Llc|Controller with an integrated depth camera|
    US8655622B2|2008-07-05|2014-02-18|Ailive, Inc.|Method and apparatus for interpreting orientation invariant motion|US9007299B2|2006-07-14|2015-04-14|Ailive Inc.|Motion control used as controlling device|
    US8690670B2|2007-06-14|2014-04-08|Harmonix Music Systems, Inc.|Systems and methods for simulating a rock band experience|
    US8678896B2|2007-06-14|2014-03-25|Harmonix Music Systems, Inc.|Systems and methods for asynchronous band interaction in a rhythm action game|
    US8368753B2|2008-03-17|2013-02-05|Sony Computer Entertainment America Llc|Controller with an integrated depth camera|
    US8323106B2|2008-05-30|2012-12-04|Sony Computer Entertainment America Llc|Determination of controller three-dimensional location using image analysis and ultrasonic communication|
    US8282485B1|2008-06-04|2012-10-09|Zhang Evan Y W|Constant and shadowless light source|
    US8663013B2|2008-07-08|2014-03-04|Harmonix Music Systems, Inc.|Systems and methods for simulating a rock band experience|
    CA2747544C|2008-12-19|2016-06-21|Saab Ab|System and method for mixing a scene with a virtual scenario|
    US8503720B2|2009-05-01|2013-08-06|Microsoft Corporation|Human body pose estimation|
    US8465366B2|2009-05-29|2013-06-18|Harmonix Music Systems, Inc.|Biasing a musical performance input to a part|
    US20100306685A1|2009-05-29|2010-12-02|Microsoft Corporation|User movement feedback via on-screen avatars|
    US8449360B2|2009-05-29|2013-05-28|Harmonix Music Systems, Inc.|Displaying song lyrics and vocal cues|
    US8721444B2|2009-07-21|2014-05-13|Sony Corporation|Game device for performing operation object control and non-operation object control|
    EP2494432B1|2009-10-27|2019-05-29|Harmonix Music Systems, Inc.|Gesture-based user interface|
    US9981193B2|2009-10-27|2018-05-29|Harmonix Music Systems, Inc.|Movement based recognition and evaluation|
    US8497902B2|2009-12-18|2013-07-30|Sony Computer Entertainment Inc.|System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof|
    US8687044B2|2010-02-02|2014-04-01|Microsoft Corporation|Depth camera compatibility|
    US9186577B2|2010-02-03|2015-11-17|Visual Sports Systems|Collapsible enclosure for playing games on computers and gaming consoles|
    CN102918476B|2010-02-05|2017-03-08|索尼电脑娱乐公司|用于利用位置、方向或动作与计算程序相接口的控制器|
    US8636572B2|2010-03-16|2014-01-28|Harmonix Music Systems, Inc.|Simulating musical instruments|
    US8428394B2|2010-05-25|2013-04-23|Marcus KRIETER|System and method for resolving spatial orientation using intelligent optical selectivity|
    US9358456B1|2010-06-11|2016-06-07|Harmonix Music Systems, Inc.|Dance competition game|
    WO2011155958A1|2010-06-11|2011-12-15|Harmonix Music Systems, Inc.|Dance game and tutorial|
    US8562403B2|2010-06-11|2013-10-22|Harmonix Music Systems, Inc.|Prompting a player of a dance game|
    US8675981B2|2010-06-11|2014-03-18|Microsoft Corporation|Multi-modal gender recognition including depth data|
    US9024166B2|2010-09-09|2015-05-05|Harmonix Music Systems, Inc.|Preventing subtractive track separation|
    US8681255B2|2010-09-28|2014-03-25|Microsoft Corporation|Integrated low power depth camera and projection device|
    KR20120046973A|2010-11-03|2012-05-11|삼성전자주식회사|움직임 정보 생성 방법 및 장치|
    US8866889B2|2010-11-03|2014-10-21|Microsoft Corporation|In-home depth camera calibration|
    US9529424B2|2010-11-05|2016-12-27|Microsoft Technology Licensing, Llc|Augmented reality with direct user interaction|
    US9123316B2|2010-12-27|2015-09-01|Microsoft Technology Licensing, Llc|Interactive content creation|
    US8570320B2|2011-01-31|2013-10-29|Microsoft Corporation|Using a three-dimensional environment model in gameplay|
    US8401242B2|2011-01-31|2013-03-19|Microsoft Corporation|Real-time camera tracking using depth maps|
    US8711206B2|2011-01-31|2014-04-29|Microsoft Corporation|Mobile camera localization using depth maps|
    EP2487458A3|2011-02-11|2014-11-26|BlackBerry Limited|System and method for calibrating a magnetometer with visual affordance|
    US8942917B2|2011-02-14|2015-01-27|Microsoft Corporation|Change invariant scene recognition by an agent|
    US9440144B2|2011-04-21|2016-09-13|Sony Interactive Entertainment Inc.|User identified to a controller|
    US9259643B2|2011-04-28|2016-02-16|Microsoft Technology Licensing, Llc|Control of separate computer game elements|
    CN102707804B|2011-05-23|2015-03-25|中国科学院软件研究所|一种基于加速度传感器的角色动作控制方法|
    US8740702B2|2011-05-31|2014-06-03|Microsoft Corporation|Action trigger gesturing|
    US9270974B2|2011-07-08|2016-02-23|Microsoft Technology Licensing, Llc|Calibration between depth and color sensors for depth cameras|
    US8611642B2|2011-11-17|2013-12-17|Apple Inc.|Forming a steroscopic image using range map|
    US9041819B2|2011-11-17|2015-05-26|Apple Inc.|Method for stabilizing a digital video|
    CN102591458A|2011-12-27|2012-07-18|上海聚力传媒技术有限公司|一种基于人体运动执行视频控制操作的方法、装置和设备|
    US9471864B2|2012-06-22|2016-10-18|Microsoft Technology Licensing, Llc|Encoding data in depth patterns|
    US20140002357A1|2012-06-28|2014-01-02|Kopin Corporation|Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis|
    US9857470B2|2012-12-28|2018-01-02|Microsoft Technology Licensing, Llc|Using photometric stereo for 3D environment modeling|
    US10038895B2|2013-01-15|2018-07-31|Disney Enterprises, Inc.|Image capture device calibration|
    US9251590B2|2013-01-24|2016-02-02|Microsoft Technology Licensing, Llc|Camera pose estimation for 3D reconstruction|
    US9083960B2|2013-01-30|2015-07-14|Qualcomm Incorporated|Real-time 3D reconstruction with power efficient depth sensor usage|
    US9940553B2|2013-02-22|2018-04-10|Microsoft Technology Licensing, Llc|Camera/object pose from predicted coordinates|
    US9129478B2|2013-05-20|2015-09-08|Microsoft Corporation|Attributing user action based on biometric identity|
    US9384013B2|2013-06-03|2016-07-05|Microsoft Technology Licensing, Llc|Launch surface control|
    CN103606182B|2013-11-19|2017-04-26|华为技术有限公司|图像渲染方法及装置|
    US10380797B2|2013-11-22|2019-08-13|International Business Machines Corporation|Configuration of navigational controls in geometric environment|
    CN103995620A|2013-12-02|2014-08-20|深圳市云立方信息科技有限公司|一种空中触控系统|
    US9536351B1|2014-02-03|2017-01-03|Bentley Systems, Incorporated|Third person view augmented reality|
    WO2017004241A1|2015-07-02|2017-01-05|Krush Technologies, Llc|Facial gesture recognition and video analysis tool|
    CA2954000A1|2014-07-03|2016-01-07|Krush Technologies, Llc|Electronically mediated reaction game|
    US9350924B2|2014-08-25|2016-05-24|John G. Posa|Portable electronic devices with integrated image/video compositing|
    US9767566B1|2014-09-03|2017-09-19|Sprint Communications Company L.P.|Mobile three-dimensional model creation platform and methods|
    US9804696B2|2015-01-02|2017-10-31|Microsoft Technology Licensing, Llc|User-input control device toggled motion tracking|
    JP6645494B2|2015-04-09|2020-02-14|ソニー株式会社|撮像装置および方法、電子機器、並びに車載用電子機器|
    US10521865B1|2015-12-11|2019-12-31|State Farm Mutual Automobile Insurance Company|Structural characteristic extraction and insurance quote generation using 3D images|
    CN106123916B|2016-06-13|2019-11-15|上海临奇智能科技有限公司|一种用于校准vr设备中惯性测量单元的方法与设备|
    US10430671B2|2017-04-22|2019-10-01|Honda Motor Co., Ltd.|System and method for remapping surface areas of a vehicle environment|
    CN107968934B|2017-11-17|2018-07-31|广东教云实业有限公司|智能化电视机监控平台|
    法律状态:
    2011-08-04| A621| Written request for application examination|Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110202 |
    2013-03-06| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
    2013-06-06| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130605 |
    2013-06-13| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130612 |
    2013-07-06| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130705 |
    2013-07-16| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130712 |
    2013-08-06| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
    2013-08-21| TRDD| Decision of grant or rejection written|
    2013-08-28| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
    2013-09-12| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130904 |
    2013-09-13| R150| Certificate of patent or registration of utility model|Ref document number: 5362812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
    2016-08-30| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2017-09-05| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2018-09-04| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2019-09-03| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2020-08-27| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2021-08-27| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]